mirror of
https://github.com/openmlsys/openmlsys-zh.git
synced 2026-04-05 11:47:55 +08:00
fix fl format (#80)
This commit is contained in:
@@ -2,7 +2,7 @@
|
||||
|
||||
### 部署流程
|
||||
|
||||
随着端上算力的提升和算法的快速发展,跨设备联邦学习在智能手机或智能设备中的应用越来越广泛。其主要流程如图:numfef:`ch10-federated-learning-flow`所示,可分为如下几步:
|
||||
随着端上算力的提升和算法的快速发展,跨设备联邦学习在智能手机或智能设备中的应用越来越广泛。其主要流程如 :numfef:`ch10-federated-learning-flow`所示,可分为如下几步:
|
||||
|
||||
1. FL-Client选择:FL-Client主动向FL-Server发起参与联邦学习的请求。FL-Server根据配置筛选出满足条件的FL-Client。选择成功后FL-Server下发模型以及相关联邦学习配置。
|
||||
2. FL-Client训练:在终端设备上进行本地模型训练。
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
## 联邦平均算法
|
||||
|
||||
和传统分布式学习相比,联邦学习存在训练结点不稳定和通信代价大的难点。这些难点导致了联邦学习无法和传统分布式学习一样:在每次单步训练之后,同步不同训练结点上的权重。为了提高计算通信比并降低频繁通信带来的高能耗,谷歌公司提出了联邦平均算法(Federated Averaging,FedAvg)。图:numfef:`ch10-federated-learning-fedavg`展示了FedAvg的整体流程。在每轮联邦训练过程中,端侧进行多次单步训练。然后云侧聚合多个端侧权重,并取加权平均。
|
||||
和传统分布式学习相比,联邦学习存在训练结点不稳定和通信代价大的难点。这些难点导致了联邦学习无法和传统分布式学习一样:在每次单步训练之后,同步不同训练结点上的权重。为了提高计算通信比并降低频繁通信带来的高能耗,谷歌公司提出了联邦平均算法(Federated Averaging,FedAvg)。 :numfef:`ch10-federated-learning-fedavg`展示了FedAvg的整体流程。在每轮联邦训练过程中,端侧进行多次单步训练。然后云侧聚合多个端侧权重,并取加权平均。
|
||||
|
||||

|
||||
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# 联邦学习系统
|
||||
|
||||
在本章中,我们介绍深度学习的一个重要分支——强化学习及其在系统方面的知识。本章的学习目标包括:
|
||||
在本章中,我们介绍深度学习的一个重要分支——联邦学习及其在系统方面的知识。本章的学习目标包括:
|
||||
|
||||
- 掌握联邦学习基本知识。
|
||||
- 掌握联邦系统架构组成部分。
|
||||
|
||||
@@ -2,20 +2,10 @@
|
||||
|
||||
为了解决“隐私保护”与“数据孤岛”这两大难题,联邦学习(Federated Learning,FL)应运而生。联邦学习的概念最早在2016年被提了出来,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。在联邦学习场景中,每个用户,被定义为客户端这一角色,使用各自的本地数据进行训练、模型更新、权重上传,并在中央服务器的协调下,多个客户端协作建立机器学习模型。
|
||||
|
||||
根据数据分布的不同,联邦学习可以分为跨设备(cross-device)与跨组织(cross-silo)联邦学习。一般而言,跨组织联邦学习的用户一般是企业、机构单位级别的,而跨设备联邦学习针对的则是便携式电子设备、移动端设备等。表:numref:`differences-and-connections`展示了两者的区别和联系:
|
||||
根据数据分布的不同,联邦学习可以分为跨设备(cross-device)与跨组织(cross-silo)联邦学习。一般而言,跨组织联邦学习的用户一般是企业、机构单位级别的,而跨设备联邦学习针对的则是便携式电子设备、移动端设备等。 :numref:`ch10-federated-learning-different-connection`展示了两者的区别和联系:
|
||||
|
||||
| | 跨设备联邦学习 | 跨组织联邦学习 |
|
||||
| :------------: | :----------------------------------------------------------: | :----------------: |
|
||||
| 组网架构 | 由中央服务器和不同客户端之间的交互,且客户端之间没有直接联系。 | |
|
||||
| 数据分布 | 不同客户端上的数据非独立同分布。 | |
|
||||
| 主要瓶颈 | 客户端的计算性能以及中央服务器的内存 | 通信开销 |
|
||||
| 客户端来源 | 不同的终端设备 | 不同的组织 |
|
||||
| 客户端性能 | 较差 | 较好 |
|
||||
| 客户端规模 | 较大 | 较小 |
|
||||
| 客户端参与情况 | 不会参与所有联邦迭代 | 参与大部分联邦迭代 |
|
||||
| 客户端状态 | 无状态 | 有状态 |
|
||||
| 客户端可靠性 | 高度不可靠 | 相对可靠 |
|
||||

|
||||
|
||||
:label:`differences-and-connections`
|
||||
:label:`ch10-federated-learning-different-connection`
|
||||
|
||||
下面就联邦学习中的要点:系统架构、联邦平均算法、隐私加密算法以及实际部署时的挑战进行详细描述。
|
||||
@@ -1,6 +1,6 @@
|
||||
## 系统架构
|
||||
|
||||
联邦学习系统由调度器模块、服务器模块和客户端模块三个部分组成,其系统架构如图:numref:`ch10-federated-learning-architecture`所示。其中:
|
||||
联邦学习系统由调度器模块、服务器模块和客户端模块三个部分组成,其系统架构如 :numref:`ch10-federated-learning-architecture`所示。其中:
|
||||
|
||||
- 联邦学习调度器:
|
||||
|
||||
|
||||
Binary file not shown.
BIN
img/ch10/ch10-federated-learning-different-connection.png
Normal file
BIN
img/ch10/ch10-federated-learning-different-connection.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 245 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 586 KiB After Width: | Height: | Size: 189 KiB |
Reference in New Issue
Block a user