039 tensorflow | 分布式Tensorflow2

目录

两种形式

数据并行主要表现为两种形式：图内复制（in-graph replication）和图间复制（between-graph replication）。两种策略之间最显著的区别在于流程图的结构与其结果。

• 图内复制
• 图间复制

in-graph模式

in-graph模式下数据分发在一个节点上。 这种方式配置简单，其他结算节点只需join操作，暴露一个网络接口，等在那里接受任务就好。 但坏处就是训练数据的分发在一个节点上，要把训练数据分到不同的机器上，严重影响了并发的训练速度。

between-graph模式

between-graph模式下，训练的参数保存在参数服务器，数据不用分发，数据分片的保存在各个计算节点，各个计算节点自己算自己的，算完后把要更新的参数告诉参数服务器，参数服务器更新参数。 这种模式的优点是不用进行训练数据的分发，尤其数据量在TB级的时候，节省了大量的时间，所以大数据深度学习推荐使用between-graph模式。

作者：V怪兽 链接：https://www.jianshu.com/p/bf17ac9e6357 來源：简书 简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

参考

• https://baijiahao.baidu.com/s?id=1570526146023275&wfr=spider&for=pc