软件所提出面向多模态推荐的解耦与蒸馏动态集成框架

近日，中国科学院软件研究所天基综合信息系统全国重点实验室研究团队聚焦多模态推荐中模态信息差异化推荐价值被削弱的问题，针对常用的联合学习与特征融合策略，创新性引入梯度提升机制，提出了一种解耦与蒸馏动态集成框架，有效增强了模态共享信息和特有信息的样本级判别能力。相关成果论文D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble被多媒体领域国际学术会议ACM MM 2026接收。论文共同第一作者为博士生王炳楠和博士生李懿，通讯作者为李江梦副研究员。

不同模态信息的差异化推荐价值是指各类型信息在用户之间表现出不同的贡献程度。联合优化的集成策略要求各模态同时拟合全部样本，导致模型倾向于学习整体平均表现，而难以保持不同信息在特定样本上的优势。

针对上述问题，研究团队提出了由特征成分解耦模块和知识蒸馏增强的梯度提升模块组成的D3ER框架。首先，特征成分解耦模块将多模态表示拆分为共享成分与特有成分，通过对比学习和分布对齐提取跨模态共享信息，并利用分离约束保留视觉、文本各自独有的任务相关语义。在此基础上，D3ER分别建立共享信息、视觉特有信息和文本特有信息对应的推荐模型，并通过梯度提升进行交替训练，使各模型重点学习此前尚未充分拟合的样本，发挥不同信息成分的优势，缓解联合训练造成的预测偏好弱化。

针对传统梯度提升需要持续保存历史模型的问题，D3ER进一步引入知识蒸馏，将累积知识压缩至固定规模模型中，并结合全局校正约束提升训练稳定性，在保持模型互补性的同时兼顾存储与计算效率。

D3ER整体框架

研究团队将D3ER分别接入MGCN、DiffMM和PGL三种基座模型，在Amazon三个交互稀疏度均超过 99.8%的多模态推荐数据集（Baby、Sports和Clothing）进行了对比实验，并验证其对不同推荐架构的适配能力。结果显示，D3ER在三个数据集和多项评价指标上均获得稳定提升。消融实验进一步表明，分别移除特征解耦、梯度提升与蒸馏机制后，模型性能均出现下降，其中移除全局校正约束造成的影响最为明显。

性能比较结果

消融实验结果