统计与数据科学学院 秦慧怡 报道
2026年11月4日上午，统计与数据科学学院在位育楼417举办了第十四期青年教师学术沙龙，此次活动由学院副院长赵彦勇教授主持。特邀本院教师祝恒坤作题为“Model Averaging Method with Entropy Regularization for High-dimensional Regression”的学术报告。
在本次讲座中，祝恒坤老师指出：惩罚最小二乘（Penalised least squares）是高维线性回归中一种流行的方法。然而，单一的惩罚函数往往会导致预测的不稳定性，并且难以在不同场景下保持一致的良好表现。此外，选择合适的调优参数可能是一项具有挑战性的任务。为了解决这些问题，本次报告提出了一种新颖的模型平均框架，结合了不同的惩罚函数和调优参数：首先，设计了一种用于惩罚最小二乘估计的改进坐标下降算法，并建立了其理论稳定性和收敛性质。然后，提出了一种熵正则化权重学习准则，该准则在截断单纯形约束下，最小化经验平方误差加上一个负熵项。由此产生的强凸性和强制内部解抑制了权重退化，从而使权重估计对留一扰动具有稳定性。该准则是有理论依据的：它符合最大熵原则，即选择与数据一致的信息量最少的权重，并且它通过惩罚数据驱动的后验权重相对于均匀先验的复杂性，反映了PAC-贝叶斯框架。最终通过模拟研究和对真实数据的应用，证明了所提出方法的有效性。
讲座结束后，参会师生与祝恒坤老师就讲座中的相关内容进行了深入的交流与探讨。本次学术讲座取得了圆满成功，通过本次讲座，开阔了我院师生的视野，更为我院师生提供了宝贵的研究信息和思路。
