显卡通信术语
复制本地路径 | 在线编辑
参考文章：https://www.eet-china.com/mp/a455189.html
很棒的一篇文章！
一些常用的显卡通信术语，其实没啥高深的东西，都是一些简单的名词。而且其实就是分布式中已经存在过的东西。
总结
| 术语 | 解释 | 示意图 |
|---|---|---|
| Broadcast | 顾名思义，一个设备把同一份数据发送给所有设备，所有设备都拿到相同的数据。 |  |
| Scatter | 类似广播，但发送前会切分，然后分别发送给其他设备，每个设备拿到原始数据的一部分。 |  |
| Gather | 和广播相反，所有发送给一个设备，目标设备收集到所有设备的数据。 |  |
| AllGather | 类似于全部广播，所有设备都把自己的数据广播，最终每个设备都收集到所有设备的数据。 |  |
| Reduce | 本质是 Gather + SUM，目标设备得到所有数据后再累加。 |  |
| ReduceScatter | 本质上 AllScatter（没这个词） + SUM，每个设备计算各个设备其中一部分的和。 |  |
| AllReduce | 本质是 Broadcast + SUM，每个设备把数据发给所有人，然后所有人都自行累加。 |  |