注释,注释: 研究的主题是异构计算集群中神经网络的分布式学习过程。 在这样的系统中，节点具有不同的性能。 通过经典的同步通信，这会导致功能强大的机器停机。：它们处于空闲状态，等待来自弱设备的结果。 另一种方法是异步方法，其中每台计算机独立更新全局模型。 这项工作的目的是开发和评估异步学习的软件体系结构。 关键难点在于陈旧的渐变效果。 快速节点多次更新全局参数，而慢节点计数一次迭代。 结果，服务器得到过时的梯度。 该论文描述了网络交互的设计，以最大限度地减少延迟并补偿计算速度的差异，而无需使用严格的同步。 异步随机梯度下降（ASGD）算法作为方法学基础。 在CIFAR-10数据集上进行时间和精度估计实验。 该体系结构以Go（服务器）和Python（客户端）语言实现。 科学上的新颖之处在于创建了一个混合架构，在Go中有一个中央服务器，在Python中有一个客户端。 服务器在没有队列的情况下并行处理请求。 与文本格式相比，二进制协议缓冲格式和gRPC协议的使用减少了传输的数据量并加快了网络交换速度。 该研究的结论是：向异步协议的过渡消除了计算节点的停机时间。 为了稳定收敛，需要基本学习参数的变化。 由于惯性的积累，Adam优化器在网络延迟期间不稳定。 经典随机梯度下降给出了更可靠的结果。 由于旧的刻度，精度略有下降，但缩放系统消除了这一缺点。 实验证实了正则化效应的假设：一组独立梯度的聚集使损失函数的曲线平滑。 进一步的工作涉及搜索数学方法，以自动减少严重过时的梯度的权重。

关键词: 深入学习, 分布式计算, 异步,异步, 异构系统, 梯度的聚集, 客户端-服务器体系结构, 神经网络, 并行处理, 戈朗, gRPC