Deep Learning Toolbox™提供了一个框架，用于设计和实现具有算法，预训练模型和应用程序的深度神经网络。您可以使用卷积神经网络（ConvNets，CNN）和长期短期记忆（LSTM）网络对图像，时间序列和文本数据进行分类和回归。应用程序和图表可帮助您可视化激活，编辑网络体系结构以及监控培训进度。 对于小型训练集，您可以使用预训练的深层网络模型（包括SqueezeNet，Inception-v3，ResNet-101，GoogLeNet和VGG-19）以及从TensorFlow™-

今天小编就为大家分享一篇Tensorflow实现多GPU并行方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

| AutoDist是TensorFlow的分布式深度学习培训引擎。 AutoDist提供了一个用户友好的界面，以可扩展性和最少的代码更改在许多GPU上分布各种深度学习模型的培训。 介绍 与专用的分布式ML系统不同，AutoDist的创建是为了以优异的全面性能加快各种DL模型的速度。 AutoDist通过以下方式实现此目标： 编译：AutoDist将DL模型的并行化表示为标准化的编译过程，优化了ML并行化的多个维度，包括同步，分区，放置等。 可组合的体系结构：AutoDist包含一个灵活的

Tebsorflow开源实现多GPU训练cifar10数据集：cifar10_multi_gpu_train.py Tensorflow开源实现cifar10神经网络：cifar10.py Tensorflow中的并行分为模型并行和数据并行。模型并行需要根据不同模型设计不同的并行方式，其主要原理是将模型中不同计算节点放在不同硬件资源上运算。比较通用且能简便地实现大规模并行的方式是数据并行，同时使用多个硬件资源来计算不同batch的数据梯度，然后汇总梯度进行全局更新。 数据并行几乎适用于所有深度学