Данные остаются там, где они хранятся. Федеративное обучение обучает модели на множестве устройств без централизации исходных данных. Каждое устройство вычисляет обновления локальных данных, отправляет только эти обновления на сервер, а сервер объединяет их в общую модель.

Этот подход подходит для ситуаций, когда конфиденциальность или пропускная способность сети делают централизацию нецелесообразной. Клавиатуры обучаются шаблонам набора текста без отправки нажатий клавиш. Больницы обучают диагностические модели, не обмениваясь медицинскими записями пациентов.

Основные механики

• Локальное обучение работе с каждым устройством
• Обновления градиента или модели отправляются на сервер.
• Агрегация в обновленную глобальную модель
• Распределение обратно на устройства для следующего раунда

Проблемы сохраняются. Устройства имеют различное распределение данных, скорость соединения и доступность. Накладные расходы на связь значительны, а обновления могут привести к утечке информации, если их не защитить должным образом. Безопасная агрегация и дифференциальная конфиденциальность обеспечивают дополнительные меры защиты, но за дополнительную плату.