【专家简介】：谭承利，博士，2024年12月毕业于西安交通大学数学与统计学院统计系，师从张讲社教授。现为西北工业大学数学与统计学院预聘副教授，主要从事随机优化、统计机器学习、图像处理等交叉学科方向研究。近年来，在IEEE TPAMI、TNNLS、TGRS、TMM、JMLR等相关领域国际著名期刊和会议发表论文10余篇。
【报告摘要】：随着深度学习的快速发展，近年来涌现出了大量的优化算法以提升模型的训练速度和泛化能力。受模型锐度与泛化之间关系的启发，一类基于锐度最小化的优化算法吸引了大量的关注。虽然此类算法对提升过参数化神经网络的泛化能力具有显著的效果，但关于其泛化能力的理论研究目前仍有待深入。这里，我们从算法稳定性的角度出发，证明了非归一化格式下其在强凸问题上一致优于经典的随机梯度下降算法。此外，相较于一般的优化算法，锐度感知优化算法还存在鞍点处逃离困难等训练不稳定性问题。为此，通过保持不同位置处梯度范数的一致性，我们还提出了一个即插即用的训练技巧用以提升其逃离效率。最后我们在ImageNet-1k等真实数据集进行了大量的数值实验并验证了此类技巧的有效性。
【报告时间】：2025年05月20日 10:30-11:30
【报告地点】：位育楼417
