<aside> 📢 Communication-Efficient Learning of Deep Networks from Decentralized Data

</aside>

Notation

• $K$: 전체 client의 수

• $C$: 매 round(1회의 model update)마다 참여할 client의 fraction $(0≤C≤1)$

• $E$: 매 round마다 local에서 학습할 epoch 수

• $B$: 매 epoch마다 학습에 사용할 local dataset의 mini-batch size

• $f(w)$: 우리가 구해야 할 model $w$의 loss

• $f_i(w)$: 각 device 안의 model $w$의 loss

• $P_k$: client $k$가 가지고 있는 data의 indices, $n_k:=|P_k|$

  (쉽게 말해서, 모든 device의 data를 합친 결과 총 $n$개의 data가 있을 때, $n=∑^K_{k=1}n_k$)

• $u_k:=\frac{En_k}{B}$ (한 round 당 이루어지는 local model의 update 횟수)

• $u:=\frac{En}{KB}$ ($u_k$와 동일한 의미이지만, 특정 client $k$의 관점이 아닌, 일반화된 표현)

• $η$: 고정된 learning rate

• $g_k=∇F_k(w_t)$: client $k$의 $t$기 model인 $w_t$에 대한 average local gradient

Abstract

현대 mobile 기기는 learning model에 적합한 많은 데이터에 접근할 수 있다. 하지만, 이러한 data는 종종 privacy에 민감하고 양이 너무 방대하여 기존의 방식과 같이 data center에 접근[logging]하여 학습하는 것은 어려울 수 있다.

본 논문에서는 각 mobile device에 있는 training data를 이용, local에서 계산된 update를 취합해 공유 모델을 학습하는 decentralized approach인 Federated Learning 을 제안한다.

논문은 실험을 통해 이러한 접근이 unbalanced, non-IID data 분포에 대해 robust[견고]함을 보였다. 또한, 주된 cost로 뽑히는 communication costs에 대해, 기존의 동기화된 stochastic gradient descent(SGD) 방식보다 논문의 방식이 10배에서 100배 정도 communication round[통신 라운드]를 덜 거친다는 것을 보였다.

Introduction

점점 더 많은 사람들에게 핸드폰과 태블릿은 주요한 계산[computing] 장치이고, 그러한 장치 안에 있는 여러 센서들(카메라, GPS 등)은 비공개로 제공되는 많은 data에 접근할 수 있다.[자주 휴대되는 특성으로 인해 전례 없는 양의 데이터에 액세스할 수 있습니다.] 해당 data를 기반으로 학습한 모델은 보다 지능적인 application을 작동시켜 사용성을 크게 향상시킬 수 있다는 가능성을 가지고 있지만, 중앙 location에 이를 저장하는 것에는 risk가 존재한다.[private data]

우리는 풍부한 data를 중앙에 저장하지 않고도, 공유된 모델을 학습시킬 수 있는 기술인 Federated Learning 기법을 소개한다. 이러한 이름이 붙은 이유는 중앙 server 에 의해 조절되는 여러대의 device(여기서는 client 라고도 한다)의 loose한 federation으로 학습 task가 진행되기 때문이다.