ABSTRACT

원문

연합 학습(FL)은 서버와 클라이언트 간의 모델 교환을 기반으로 작동하며, 상당한 통신 및 클라이언트 측 계산 부담이 따릅니다.

새로운 분할 학습(SL) 솔루션은 모델 아키텍처를 서버와 클라이언트 간에 분할함으로써 클라이언트 측 계산 부담을 줄일 수 있습니다.

그러나 SL 기반 아이디어는 각 참여 클라이언트가 자신의 모델을 업데이트하기 위해 서버로부터 역전파된 그래디언트를 기다려야 하기 때문에 여전히 상당한 시간 지연이 발생합니다.

또한, 통신 부담은 로컬 데이터셋의 크기와 잘라낸 레이어의 활성화/그래디언트 모양과 같은 다양한 요소에 따라 여전히 클 수 있습니다.

본 논문에서는 분할 학습에 특화된 로컬 손실 기반 훈련을 통해 클라이언트/서버 측 모델을 병렬로 업데이트하는 새로운 방향을 제안합니다.

분할된 모델의 병렬 훈련은 지연 시간을 크게 단축하면서 서버와 클라이언트 간의 통신을 없애줍니다.

우리는 최적의 모델 분할을 이끌어내는 지연 시간 분석과 모델 분할에 대한 일반적인 지침을 제공합니다.

또한, 수렴을 보장하고 다양한 하이퍼파라미터와 시스템 제약 조건 간의 상호 작용을 이해하기 위한 이론적 분석을 제공합니다.

광범위한 실험 결과는 우리의 방식이 기존의 FL 및 SL 아이디어보다 통신 및 지연 시간에서 상당한 이점을 가지고 있음을 나타냅니다.

요약

INTRODUCTION

원문

연합 학습(FL) (McMahan et al., 2017; Konečnỳ et al., 2016b;a; Li et al., 2020)은 클라이언트가 데이터를 서버에 직접 업로드하지 않고도 글로벌 모델을 공동으로 훈련할 수 있게 해주는 유망한 분산 학습 방향으로 간주되고 있습니다. 그러나 FL에서는 각 클라이언트가 반복적으로 서버에서 전체 모델을 다운로드하고, 모델을 업데이트한 후 다시 서버로 업로드해야 합니다. 이러한 FL의 훈련 과정은 특히 많은 수의 모델 파라미터를 가진 심층 신경망에서 상당한 계산/통신 부담을 초래합니다. 게다가 클라이언트의 계산 능력과 전송 속도가 낮을 때(예: 모바일/IoT 장치), FL은 모델을 훈련하는 데 상당한 시간 지연을 요구합니다. 이러한 문제는 낮은 계산 능력과 낮은 전송 속도를 가진 클라이언트의 로컬 데이터를 사용하여 대규모 모델을 훈련하려는 실제 시나리오에서 FL의 적용을 제한할 수 있습니다.

스플릿 러닝(SL) (Gupta & Raskar, 2018; Vepakomma et al., 2018; Singh et al., 2019; Koda et al., 2020; Thapa et al., 2020)은 이 설정을 위한 또 다른 최근 접근 방식으로, 훈련이 시작되기 전에 모델 w를 두 부분으로 나누어 클라이언트의 계산 부담을 줄일 수 있습니다. 첫 몇 개의 레이어(클라이언트 측 모델 wC)는 클라이언트에 할당되고, 나머지 레이어(서버 측 모델 wS)는 서버에 할당됩니다. 각 클라이언트는 모델의 첫 몇 개 레이어만 훈련하면 되므로, FL에 비해 각 클라이언트의 계산 부담이 줄어듭니다.

그러나 기존의 SL 기반 아이디어는 여전히 지연 시간과 통신 효율성 측면에서 두 가지 중요한 문제를 가지고 있습니다. 첫째, 기존의 SL 솔루션은 각 참여 클라이언트가 모델을 업데이트하기 위해 서버로부터 역전파된 그래디언트를 기다려야 하기 때문에 여전히 상당한 시간 지연이 필요합니다. 또한, 각 글로벌 라운드에서 업링크/다운링크 통신을 통해 전달되는 순방향/역방향 신호에 대한 통신 부담도 여전히 상당할 수 있습니다.

기여: 이 논문에서는 계산, 통신, 지연 시간의 세 가지 주요 자원을 동시에 줄이는 분산 학습을 위한 새로운 방향을 제시하여 FL/SL을 보다 빠르고 통신-계산 효율적으로 만드는 솔루션을 제안합니다. 스플릿 러닝에서와 같이 전체 모델을 클라이언트 측과 서버 측 모델로 분할하여 클라이언트의 계산 부담을 줄입니다. 현재 FL 및 SL 접근 방식의 높은 통신 자원 요구 사항과 높은 지연 시간 요구 사항을 해결하기 위해, 스플릿 러닝 설정에 매우 적합한 로컬 손실 기반 훈련 방법을 제안합니다. 클라이언트 측 모델을 서버로부터 역전파된 신호를 받지 않고도 업데이트할 수 있도록 클라이언트 측 및 서버 측 로컬 손실이라는 두 가지 다른 로컬 손실 함수를 도입하여 통신 효율성과 지연 시간을 크게 개선합니다. Fig. 1은 우리의 접근 방식을 FL 및 최신 SL 아이디어인 SplitFed (Thapa et al., 2020)와 비교합니다. 우리의 주요 기여는 다음과 같이 요약될 수 있습니다: