报告题目：面向低带宽场景的分布式学习方法
报告人：向雪霜 副研究员、高级工程师
报告时间：2021年11月2日（星期二）晚上7:00-8:00
报告地址：腾讯会议997 904 665
主持人：吕广迎教授
报告摘要：随着深度神经网络复杂度和数据集规模的快速增长，使用多个计算节点，进行分布式训练，以加快训练速度，打破存储限制，成为当前解决大规模深度学习问题的主流。在节点之间的连接为低带宽网络的场景中，需要一种方法来提高带宽利用效率，加快各节点同步网络权值的速度，以使得分布式学习能达到实际应用的要求。本报告在总结相关研究的基础上，提出了一种基于随机权值传输的低带宽分布式学习方法。该方法在每次同步的过程中，仅随机抽取网络中部分位置的权值进行传输，从而降低了需要传输的数据量。从理论上证明了该方法的收敛性，并通过蒙特卡洛实验进行了验证。由于在压缩数据传输量过程中，存在随机权值选择、数据编解码、网络传输、权值合并等多个环节，对这些环节进行了针对性优化，详细分析了所消耗时间的相对比例，以及在不同情境下的加速比。在CIFRA-10和ImageNet数据集上对所提出的方法进行了验证，结果表明在低带宽场景下，该方法能够在实现训练收敛的基础上，对训练速度进行显著的提升。
报告人简介：向雪霜，副研究员、高级工程师，中国空间技术研究院钱学森空间技术实验室智能信息研究室负责人，中国工业与应用数学学会数学与航天交叉学科专业委员会副秘书长。2009年本科毕业于武汉大学，2014年硕博连读毕业于中科院数学与系统科学研究院，2015-2016年于新加坡国立大学从事博士后研究。主要从事计算数学、人工智能及其在航天领域的交叉科学研究，围绕高频波动方程数值模拟、多源融合感知与认知、深度学习安全与对抗等理论及空间应用方向，创新提出了波源转移区域分解、基于桥神经网络的光学SAR融合解译、基于对抗样本的频谱智能对抗等理论和方法，以第一或通讯作者在国际高水平期刊/会议上发表论文30余篇，代表性理论研究成果发表在计算数学、人工智能领域著名刊物SINUM、SISC、NUMER MATH、MATH COMPUT、IP、CiCP、TIP、AAAI、ICME，提出的波源转移区域分解算法受到计算数学领域广泛关注(被引近百次)，代表性交叉研究成果发表在Nature旗下物理学子刊Communications Physics、首届国际数学科学机器学习大会MSML、通信领域国际顶级会议URSI GASS，带领团队在第四届“中科星图杯”高分遥感图像解译软件大赛国际赛道SAR舰船检测获优胜奖，荣获2018年度院级技术创新先进个人、2018/2021年院级杰出青年基金，入选2019年北京市科技新星人才计划。
欢迎广大师生踊跃参加！
南京信息工程大学数学与统计学院
2021年11月2日
