软件所提出一种闭环反馈框架可提升大语言模型时间序列长期预测稳定性

近日，软件所天基综合信息系统全国重点实验室研究团队论文聚焦大语言模型自回归时间序列预测的误差累积问题，提出一种反馈驱动大语言模型框架，通过残差估计与循环内反馈校正，将传统开环生成转化为闭环预测，从而有效提升长期预测的准确性与稳定性。成果论文Closing the Loop: A Control-Theoretic Framework for Time Series Forecasting with LLMs被多媒体领域国际会议ACM International Conference on Multimedia 2026（ACM MM 2026）录用，共同第一作者为博士生张星宇、博士生王婧瑶，通讯作者为副研究员强文文。

时间序列预测是采用自回归方式，通过历史数据的规律，来预测未来数据。近年来，大语言模型（LLMs）凭借序列建模能力已广泛应用于时间序列预测。然而，大语言模型在推理阶段需要不断将自身预测写回上下文，早期偏差可能在后续生成中持续传播，导致长期预测轨迹漂移。研究团队从反馈控制和局部动力系统视角分析得出，当自回归转移在局部具有扩张性时，误差上界可能随预测长度呈几何增长。此外，团队发现仅依靠降低单步预测误差不足以解决长期漂移，还需要直接干预推理过程中的误差传播机制。

标准自回归生成与逐步反馈校正过程对比

为此，研究团队提出闭环反馈框架F-LLM。该框架利用冻结的大语言模型生成原始预测，并通过轻量级残差估计器，根据历史窗口中的可观测残差估计当前校正量。校正后的预测被立即写入下一步上下文，形成“预测—估计—校正—再预测”的循环内闭环过程，从而在误差进入后续生成前进行干预。为提高校正过程的稳定性，F-LLM采用两阶段训练策略，并通过局部Lipschitz正则限制扰动放大。

F-LLM框架图

研究团队通过理论分析表明，在局部动态满足收缩条件、且系统扰动与残差估计误差有界时，闭环机制能够使逐步预测误差保持有界。同时，在电力、气象和交通等领域的七个真实世界多变量时间序列数据集上的实验结果显示，F-LLM在这七个数据集上均取得最低的平均均方误差，验证了闭环反馈框架的有效性。

对比实验结果