没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/88907321/bg1.jpg)
θ
¯
k
= θ
¯
t
0
−
(i)
, eg(θ
=t
(i)
= θ
¯
t
0
− η
k−
θ
除此之外,0 < ϵ < 1/∆,其中 ∆ 表示图的最大度,定义为 ∆ := max
i
|Ω
i
| + 1。进一步,
本文给出了在基于共识的优化方法下模型参数的更新规则
k
1
X
s
0
s
); (2)
η
1
基于共识的优化方法
• 智能体网络的拓扑 G
不同智能体独立地执行本地更新过程,并且通过虚拟智能体间接地进行交互。为了
充分利用多智能体协作的优势,本文提出引入共识算法 来改进每个智能体的本地更新
过程,方式是通过智能体间的 D2D 通信。由于共识算法的原本目标是使一个 Ad-hoc
网络中的所有分布式节点达到共识,因此该算法可以用来降低多个智能体的梯度值的
方差。在基于共识的优化方法中,本文会使用符号 g(θ
k
(i), e)来代替 g(θki)),其中 e 代
表局部交互次数的索引,并且 g(θk(i), 0) = g(θk(i))。此外,为了使所有的智能体能够顺
利地达成共识,本文对智能体的网络做出如下假设
假设 (A)
是一个强连通的无向图。
需要注意的是,图中的无向连接表明所有智能体相互之间的影响是平等的。之后,
根据共识算法,本文可以得到以下每个智能体的局部交互方式
g(θ
k
(i)
, e + 1) = g(θ
k
(i)
, e) + ϵ
X
l∈Ω
i
h
g(θ
k
(l)
, e) − g(θ
k
(i)
, e)
i
,
其中 Ω
i
表示智能体 i 的邻居集合。在智能体网络中,Ω
i
可以被视为直接与智能体 i 相
连的相邻智能体集合。ϵ 表示步长,其在局部交互过程中的作用类似于学习率 η
(1)
的功能。
(i)
, e)
g(θ
i
m
m
X
=1
k−1
X
s=t
0
s
. (3)
智能体在执行本地更新前需要和相邻个体交换本地梯度,并且这些交换后的梯度值
也用来更新模型的平均参数。需要说明的是,公式 (2)和 (3) 中的更新规则符合 A的假设
,因为在获取本地梯度时的时延只会影响 g(θk(i), 0)的值,对于某些时延较大的智能体 g
(θki), 0) 的值在开始局部交互时等于 0。
定理 1 . 假设智能体 i 的本地更新次数为 τ
i
,如果总的迭代次数 K 足够大,并且可以被
τ 整除,那么当学习率 η 满足不等式 时,模型梯度的范数期望在 K 次迭代后满足
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
6贝3
- 粉丝: 139
- 资源: 14
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)