近日，北京交通年夜学数学与统计学院传授周声龙、罗自炎团队于国际顶级人工智能期刊《天然 呆板智能》乐成发表立异结果，为深度进修优化范畴的技能冲破提供了全新解决方案。
当前，基础年夜模子的快速成长正于全世界规模内激发范式改变，深刻重塑各行各业的成长模式。但持久以来，练习这些年夜模子所采用的主流优化器均基在随机梯度降落算法开发，存于收敛速率慢、对于收敛前提假定苛刻等固有局限，尤其是于漫衍式情况中呈现的数据异质性问题，给算法的理论阐发与数值机能带来了巨年夜挑战，已经成为资源受限下制约年夜模子高效练习与广泛运用的要害瓶颈。
针对于这些挑战，研究团队颠末连续攻关，提出了一种全新优化算法——预前提非切确随机瓜代标的目的乘子法（PISA）。该算法冲破了深度进修优化范畴收敛效率低、强假定依靠、计较繁杂度高、泛化性不足四年夜焦点瓶颈，为年夜模子练习提供了更高效稳健的技能路径。
该算法的立异的地方于在，经由过程预前提化框架整合二阶信息、动量与正交化等技能，实现了高效并行计较，可适配各种年夜范围深度进修场景。与传统算法比拟，PISA 算法揭示出显著上风。于理论层面，于“有界区域上梯度Lipschitz持续性”这一弱假定下，实现线性收敛。因无需数据自力同漫衍、梯度有界、方差有界等强约束，从而有用处置惩罚数据异质性难题；于实践层面，其衍生变体SISA（二阶矩预前提）及NSISA（牛顿-舒尔茨正交化动量预前提）计较高效，泛化性强，于视觉模子、年夜语言模子、强化进修、天生匹敌收集等多种模子架构的练习与微调中，收敛速率、精度与不变性逾越主流优化器。
上述理论上风与实践机能，于试验中获得了充实验证。例如，于使用MNIST数据举行分类使命中，当每一个练习节点仅包罗1个标签数据时（此时数据漫衍处在彻底偏斜场景），算法正确率从54.33%晋升至94.97%，年夜幅改善了数据异质性带来的机能损耗。于练习年夜语言模子时，随参数目增长，算法上风愈发现显，全量微调GPT2-XL（15亿参数）的时间至少缩短一半。于天生匹敌收集练习中，SISA的测试FID值（权衡天生图象与真实图象靠近水平的焦点指标）为85.07，较主流的Adam算法（95.06）降幅约10.5%，天生效果显著晋升。
周声龙暗示，团队将继承深化研究，鞭策算法结果的财产化转化，为我国人工智能财产高质量成长注入新动能，助力新质出产力成长进程中基础研究与运用研究的深度交融。
相干论文信息：https://doi.org/10.1038/s42256-026-01182-3
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请于正文上方注明来历及作者，且不患上对于内容作本色性改动；微信公家号、头条号等新媒体平台，转载请接洽授权。邮箱：shouquan@stimes.cn。-bevictor伟德官网
