智能交通顶刊TRC论文分享｜一种基于多尺度分解与语义重构的交通流预测大模型框架

本文分享一篇2026年交通领域顶级期刊《Transportation Research Part C: Emerging Technologies》发表的论文《A multiscale decomposition and semantics-guided feature reconstruction LLM framework for traffic flow forecasting》。该论文针对大语言模型直接应用于交通流预测时面临的数值时序与语言语义空间不匹配、交通流多尺度动态模式难以显式建模等问题，提出了一种名为ReMFT的交通流预测框架。该框架先通过多尺度分解提取交通流中的短期波动、周期模式和长期趋势，再通过语义引导的特征重构机制，将交通时序特征对齐到LLM的语义表示空间，最终利用冻结的大语言模型进行预测。实验结果表明，ReMFT在多个真实交通流数据集PEMS03、PEMS04、PEMS07和PEMS08上取得了具有竞争力或更优的预测性能，并在长期预测、零样本跨数据集泛化和消融实验中展现出较强的鲁棒性。

代码链接：https://doi.org/10.1016/j.trc.2026.105633

论文链接：https://github.com/IansSUn/ReMFT

本推文作者为韩煦，审核为邓镝。

一、研究背景

交通流预测是智能交通系统中的基础任务，广泛服务于城市拥堵管理、交通资源调度、道路运行监测和实时交通控制。一个准确的预测模型，不仅需要知道过去一段时间的交通流变化，还需要理解交通系统中复杂的时间规律，比如早晚高峰、工作日与周末差异、节假日出行模式，以及突发拥堵带来的短期波动。

近年来，大语言模型在长程依赖捕获和泛化能力方面表现突出，因此也逐渐被引入交通预测任务中。交通流数据本质上是连续的数值序列，而LLM原本处理的是离散的自然语言token。这就带来了一个核心问题：交通时序数据如何转化为LLM能够理解和推理的表示？现有一些方法尝试将数值序列进行简单序列化输入大模型。但这些方法往往只完成了浅层形式转换，并没有充分揭示交通流内部的多尺度结构。实际上，交通流同时包含长期趋势、短期波动和周期模式。如果直接把这些混杂信号输入LLM，模型需要自己隐式地区分不同动态模式，学习难度较大，也容易限制预测性能。

二、研究方法

如图1所示，论文提出的ReMFT框架主要包含两个核心部分：一是多尺度时间特征混合模块，用于显式建模交通流中的多尺度时间结构；二是语义引导特征重构模块，用于将结构化时序特征对齐到LLM的语义空间。

图1 ReMFT总体框架

2.1 多尺度时间特征混合模块

交通流数据具有明显的多尺度特征。例如，细粒度时间尺度可以反映红绿灯切换、局部拥堵、短时流量突增等变化，而粗粒度时间尺度则更适合反映通勤高峰、节假日效应和整体交通趋势。为此，ReMFT首先对原始交通流序列进行多级平均池化，构造不同时间分辨率下的子序列。原始序列保留最细粒度的信息，而经过下采样后的序列则逐渐提取更宏观的交通变化模式。模型不再只从单一时间尺度理解交通流，而是可以同时看到局部动态和全局趋势。

2.2 分解与跨尺度融合

仅仅进行多尺度下采样还不够，因为每一个尺度内部仍然可能混合了趋势项和周期项。比如，同一个交通流序列中既可能包含长期上升或下降趋势，也可能包含每天早晚高峰带来的周期性波动。因此，论文进一步设计了MTSM（Multiscale Trend-Seasonality Mixing）模块，该模块会在每个尺度上将交通序列拆分为两个部分，seasonal component主要表示周期性和短期波动，trend component主要表示长期变化趋势。

在融合方式上，作者采用了两种方向相反的跨尺度信息传播方式。对于周期信息，采用自底向上的融合方式，让细粒度中的局部周期信息逐层传递到粗粒度；对于趋势，采用自顶向下的融合方式，让粗粒度中的长期趋势反哺到细粒度。ReMFT先把交通流中的不同动态模式拆开，再让不同尺度之间进行信息补充。这样得到的表示，比直接处理原始交通流序列更加清晰，也更适合作为LLM的输入基础。

2.3 语义引导特征重构模块

完成多尺度特征混合后，模型还需要解决另一个关键问题：交通流特征如何进入LLM的语义空间？论文设计了语义引导特征重构模块。这个模块并不是简单地把数值序列拼接成文本，而是通过两个步骤完成时序特征到语义空间的对齐。如图2所示，第一步是Patch Embedding。模型会按照传感器通道对融合后的交通序列进行切分，将连续的长序列划分为多个局部patch，并通过一维卷积将其投影为统一维度的token表示。这样，原本连续的交通流信号被转换成了更接近LLM输入形式的局部表示单元。第二步是构建text prototypes。模型从预训练LLM的词嵌入矩阵中，通过线性映射得到一组语义更集中的原型向量。这些text prototypes可以理解为语言语义空间中的锚点，用来帮助交通时序patch找到与其动态模式相关的语义表示。

图2 语义引导特征重构模块

2.4 语义对齐与冻结LLM预测

在得到时间patch和text prototypes后，ReMFT使用多头交叉注意力机制进行语义对齐。其中，时间patch作为Query，text prototypes作为Key和Value。通过这种方式，每个交通时序片段都可以根据自身变化模式，自动选择最相关的语义原型。随后，语义增强后的表示会被输入到冻结的LLM主体中进行深层建模。论文比较了BERT、GPT-2和Llama-7b三种backbone。最终结果显示，BERT在该任务中表现最好。作者认为，这是因为BERT的双向注意力机制更适合处理交通流这种具有强结构性和周期性的时序任务。最后，模型将LLM输出的隐藏状态进行选择、展平和线性投影，得到未来多个时间步的交通流预测值。

三、实验结果

为了验证ReMFT的有效性，论文在四个真实交通流数据集上进行了实验，分别是PEMS03、PEMS04、PEMS07和PEMS08。实验设置中，模型使用过去96个时间步，也就是过去8小时的交通流，预测未来12个时间步，也就是未来1小时的交通流。评价指标包括MAE、MAPE和RMSE。对比模型包括Autoformer、DLinear、FEDformer、FiLM、Informer、PatchTST、PAttn、WPMixer和TEST等代表性时间序列预测模型。

3.1 与基线模型的性能对比

如表1所示，ReMFT在四个PEMS数据集上整体取得了最优或具有竞争力的表现。在PEMS03上，ReMFT的MAE、MAPE和RMSE分别为17.90、17.23%、27.03。在PEMS04上，ReMFT的MAPE和RMSE表现突出，分别达到14.59%和34.78。在PEMS07和PEMS08上，ReMFT同样取得了非常稳定的结果，其中PEMS07的MAE、MAPE和RMSE分别为26.54、11.04%、39.48，PEMS08上分别为18.85、11.64%、27.59。这些结果说明，将多尺度分解与语义引导重构结合后，模型确实能够更好地刻画交通流的复杂时间模式。

表1 不同模型在多个数据集上的性能对比

3.2 长期预测性能分析

如表2所示，为了进一步验证模型在较长预测窗口下的鲁棒性，论文在PEMS08数据集上测试了不同预测跨度，包括horizon=24、48和96。结果显示，ReMFT在三个预测跨度下均优于PatchTST和WPMixer。其平均MAE、MAPE和RMSE分别为28.51、18.05%、42.25，明显低于PatchTST的32.34、21.98%、50.48和WPMixer的38.01、25.38%、57.20。这说明ReMFT的多尺度结构不仅对短期预测有效，也能够帮助模型在更长预测跨度中保持稳定表现。原因在于，多尺度分解能够显式捕获长期趋势，而语义重构机制进一步增强了模型对复杂动态模式的抽象能力。

表2 不同预测跨度下的长期预测结果

3.3 空间鲁棒性与零样本泛化

如表3所示，论文还进一步分析了模型在不同空间区域中的鲁棒性。作者从PEMS03中选取了稀疏传感器区域和密集传感器区域，并与强基线WPMixer进行对比。结果显示，在稀疏区域中，ReMFT的MAE和RMSE分别为13.92和16.60，优于WPMixer的13.93和22.10。在密集区域中，ReMFT的MAE、MAPE和RMSE分别为22.03、13.65%、26.27，同样优于WPMixer。

表3 稀疏区域中的预测结果

此外，论文还进行了零样本跨数据集实验，如表4所示。模型在PEMS03上训练，直接迁移到PEMS04上测试，不进行微调。结果显示，ReMFT的MAE和RMSE分别为26.64和38.63，均为最优；MAPE为17.47%，也接近最优基线。这说明ReMFT在跨区域泛化方面具有一定优势。

表4 零样本泛化结果

3.4 消融实验与效率分析

为了验证各模块的必要性，论文进行了系统的消融实验，如表5所示。在LLM backbone对比中，BERT表现最好，优于GPT-2和Llama-7b。以PEMS03为例，BERT的MAE、MAPE和RMSE分别为17.90、17.23%、27.03，而GPT-2和Llama-7b的误差均明显更高。去掉语义引导特征重构模块后，模型性能下降，说明cross-attention语义对齐对于激活LLM的表示能力非常关键。去掉LLM，仅使用MTSM+MLP，也会带来性能退化，说明LLM的非线性表示能力确实对预测有帮助。在多尺度模块方面，去掉seasonal分支、trend分支、完整MTSM模块，或者整个multiscale temporal feature mixing过程，都会导致不同程度的性能下降。其中，去掉完整多尺度时间特征混合模块后，性能下降最明显，证明多尺度分解是ReMFT的核心组成部分之一。

表5 ReMFT框架的消融实验结果

四、总结

本推文介绍了一种面向交通流预测的LLM框架ReMFT。该框架的核心思想不是直接将原始交通数值序列输入大语言模型，而是先通过多尺度分解显式建模交通流中的短期波动、周期模式和长期趋势，再通过语义引导特征重构，将结构化时序patch对齐到LLM的语义表示空间。实验结果表明，ReMFT在多个PEMS数据集上取得了具有竞争力或更优的预测结果，并在长期预测、空间鲁棒性、零样本泛化和消融实验中验证了各模块的有效性。