近日,第39届神经信息处置惩罚体系年夜会(NeurIPS 2025)宣布了任命论文,上海电力年夜学副传授杜海舟团队撰写的论文《FedFree: Breaking Knowledge-sharing Barriers through Layer-wise Alignment in Heterogeneous Federated Learning》乐成入选,这也是该团队持续第二年于NeurIPS上发表漫衍式呆板进修范畴研究结果。
异构漫衍式呆板进修中,异构模子练习难以聚合收敛是整个历程的焦点瓶颈问题。现有要领往往依靠代办署理数据或者模子压缩要领,其轻易带来隐私危害与常识通报不完备的问题。
针对于此问题,研究团队提出了新框架FedFree,并经由过程逐层常识对于齐机制,实现跨异构模子的数据无关常识同享。详细而言,FedFree 设计了逆向分层常识迁徙机制与常识增益熵(Knowledge Gain Entropy, KGE)指标,于包管隐私安全的条件下,有用减缓了细粒度常识丢掉问题三木SEO-,实现了跨异构装备的高效常识同享。理论阐发与试验成果注解,FedFree 不仅实现了严酷的收敛性包管,并且于计较机视觉典型数据集上显著优在现有要领,最高精度晋升跨越46%。
FedFree框架总体架构概览。图片由研究团队提供-bevictor伟德官网