<aside> 📢 DEPTHFL: DEPTHWISE FEDERATED LEARNING FOR HETEROGENEOUS CLIENTS

</aside>

초록

연합 학습은 클라이언트의 개인 로컬 데이터를 수집하지 않고 글로벌 모델을 훈련하기 위한 방법입니다. 클라이언트는 반복적으로 로컬에서 업데이트된 가중치나 그래디언트를 업로드해야 하므로, 학습에 참여하기 위해서는 충분한 계산 및 통신 자원이 필요합니다. 하지만 실제로는 이들의 자원이 이질적입니다. 자원이 제한된 클라이언트가 더 작은 로컬 모델을 훈련할 수 있도록 하기 위해, 너비 조정 기법이 사용되며, 이는 글로벌 모델의 채널을 가지치기(pruning)합니다. 그러나 너비 조정은 채널을 집계할 때 매개변수 불일치 문제가 발생하여, 자원이 제한된 클라이언트를 학습에서 제외하는 것보다 낮은 정확도를 초래합니다. 본 논문은 이 문제를 해결하기 위해 깊이 조정에 기반한 새로운 접근 방식인 DepthFL을 제안합니다. DepthFL은 글로벌 모델의 가장 깊은 층을 가지치기하여 서로 다른 깊이의 로컬 모델을 정의하고, 이를 클라이언트의 자원에 따라 할당합니다. 많은 클라이언트가 깊은 로컬 모델을 훈련할 충분한 자원이 없기 때문에, 깊은 층은 불충분한 데이터로 부분적으로 훈련되며, 얕은 층은 완전히 훈련됩니다. DepthFL은 로컬 모델 내에서 다양한 깊이의 분류기들 간의 상호 자기 증류를 통해 이 문제를 완화합니다. 우리의 실험 결과에 따르면, 깊이 조정된 로컬 모델이 너비 조정된 모델보다 글로벌 모델을 더 잘 구축하며, 자기 증류는 데이터가 부족한 깊은 층을 훈련하는 데 매우 효과적입니다.