深度学习理论是当下研究的热点之一。最近来自UIUC计算机助理教授Sun Ruoyu撰写一篇深度学习最优化理论和算法的综述论文，共60页257篇文献，概述了神经网络的优化算法和训练理论《Optimization for deep learning: theory and algorithms》，并得到众多大佬的推荐，比如模仿学习带头人加州理工Yisong Yue，欢迎大家阅览，需要一番数学理论功底，方能扛过。