这篇论文提出了一个名为TRACE的多模态检索器，旨在解决时间序列数据与相关文本描述之间的语义对齐和跨模态检索问题，以增强下游任务的性能。

**论文核心问题：**如何有效地将多变量时间序列数据与其丰富的、领域特定的文本描述（如临床笔记、天气报告）进行语义对齐，以实现精确的跨模态检索，并利用检索到的上下文信息来增强时间序列基础模型和下游任务的性能。

1.背景知识

1.1 跨模态时间序列检索

想象一下，你是一位气象学家，面前有一份描述“突发洪水”的报告，里面提到了“极端降雨”和“强阵风”。你的直觉会告诉你，要理解这次事件，最好能找到历史上发生过类似天气模式的时间序列数据（比如过去几十年的风速、降雨量记录）。这种将文本描述与历史数据模式联系起来的能力，就是跨模态检索的核心。

时间序列数据无处不在，它记录了事物随时间变化的过程。

• 在医疗领域：你的心率监护仪上跳动的曲线、脑电图（EEG）的波形，都是时间序列。
• 在气象领域：每小时的气温、风速、降雨量记录，构成了气象时间序列。
• 在能源领域：智能电表记录的用电量波动，也是典型的时间序列。

然而，在现实世界中，这些冷冰冰的数字曲线很少孤立存在。它们总是伴随着丰富的、用人类语言写成的“背景故事”：

• 一份临床笔记，描述了病人“午后突发心悸并伴有头晕”。
• 一份天气报告，指出“受台风外围环流影响，东部沿海出现短时强降水”。
• 一份设备运维日志，记载着“机器在高温环境下持续运行后出现异常振动”。

文本为时间序列数据提供了至关重要的语义解释和上下文。这种“数据+描述”的天然组合，构成了一个多模态（即多种信息形式）的世界。因此，仅仅分析时间序列曲线本身（单模态分析）已经不够了，我们需要能够同时理解和关联这两种不同形式信息的智能系统。当前，时间序列领域也出现了类似于ChatGPT的“基础模型”，它们在海量数据上训练，能执行预测、分类等任务。如果我们能让这些模型在需要时，像查阅资料一样检索相关的文本和时序片段，就能极大地提升其推理的准确性和可解释性。这被称为 “检索增强生成” 。

1.2 问题定义：现有方法的“痛点”与挑战

尽管需求明确，但让机器像专家一样，精准地在海量时间序列和文本描述之间建立联系，仍然是一个巨大的挑战。现有的方法主要存在以下几个“痛点”：

痛点一：忽视文本，缺乏“语义对齐”

很多现有的时间序列检索系统，只关注“曲线像不像”（比如形状相似度），而完全忽略了伴随的文本描述。这就像只凭一张模糊的X光片找病例，却不看医生的诊断报告，很容易找错。核心问题在于，缺乏将时间序列的\*\*数值模式\*\*与文本的\*\*语义含义\*\*进行深度对齐的机制。

痛点二：难以处理“多变量”

真实世界的时间序列常常是“多变量”的。比如一个病人的监测数据可能同时包含心率、血压、血氧等多个通道。每个通道就像交响乐中的一个乐器，既有自己独特的旋律（信息），又与其他乐器相互关联。传统方法往往把这些通道混在一起处理，导致模型无法区分是心率异常导致了警报，还是血压异常导致了警报，从而学到的特征不够精细，检索时容易混淆。

痛点三：无法有效“增强”现有大模型

现有的时间序列基础模型虽然强大，但它们大多封闭，在推理时无法主动引入外部的、相关的多模态信息（即检索增强生成）。这限制了它们在复杂、需要上下文判断的场景下的表现。

总结来说，核心挑战是：如何构建一个系统，能够深入理解多变量时间序列的细粒度结构，并将其与文本的丰富语义进行精准对齐，最终实现高效的跨模态检索，并能用检索到的知识去增强其他AI模型？

2. TRACE 方法详解

图1：文本到时间序列检索的一个用例

图2：TRACE框架总览。CIT指通道身份标识符，作为连接两个阶段的关键桥梁。MMTS表示多模态时间序列。

图3：TRACE框架示意图。该模型通过通道偏置注意力机制对多元时间序列进行编码，并借助交叉注意力与双层级对比学习，将标记嵌入向量（如z_i与z_{cxt}）与其对应的文本描述对齐。z′_{cxt}表示批次内的困难负样本。

2.1 问题定义

多模态时间序列。 令 表示一个多元时间序列实例，其中 是通道（或变量）的数量， 是时间步数。我们假设存在与 对齐的两种类型的文本信息。首先，对于实例 中的每个通道 ，都有一个对应的文本描述 ，用于总结 在时间窗口 内的行为或趋势。这些描述记为 。此外，还存在一个样本级上下文 ，用于总结同一时间窗口内发生的整体状况，具体内容取决于应用领域（例如，天气报告或临床叙述）。

任务目标。 目标是将多元时间序列 及其对应的文本上下文 共同嵌入到一个共享空间中，以支持多种下游任务，包括：

1. 预测：预测未来 个时间步的值 。

2. 分类：模型为每个时间序列实例预测一个分类标签。

3. 跨模态检索：目标是根据文本查询 检索相关的时间序列 ，或者根据时间序列查询从 中检索历史相关报告等。

2.2 阶段一：时间序列编码器预训练

时间序列标记化

给定一个输入的多元时间序列 ，我们将时间维度划分为长度为 的非重叠（或带步长）的片段，每个通道得到 个片段。每个片段被展平，并通过一个可学习的线性投影映射到一个 维的嵌入空间。这将每个通道转换为一个片段标记序列 ，对于 。

为了捕捉每个通道内的局部语义，我们在每个通道的片段标记序列前添加一个可学习的通道身份标记 。这些标记作为通道级摘要的显式表示。每个标记都是唯一索引的，不在通道间共享，从标准高斯分布初始化，并与模型联合训练。这种设计允许模型区分不同通道并有效聚合通道级模式。

然后，我们将所有标记化的通道连接成一个单一的序列，并在完整序列的开头插入一个全局可学习的 $[CLS]$ 标记。一个多元实例的最终标记序列结构如下：

通道偏置注意力与旋转位置编码

为了编码多元时间序列中的通道依赖关系，我们引入了一种新颖的通道偏置注意力（channel-biased attention， CbA机制，它结合了用于通道解缠的归纳偏置和通过旋转位置编码（RoPE）的时间顺序编码。

在我们的 CbA 中，我们设计了一个偏置注意力掩码 ，以防止异质变量之间意外的语义纠缠。具体来说，对于位于展平序列中索引 处的每个通道级摘要标记 ，我们定义：

，如果标记 不属于通道 ，否则为 。

，如果标记 不是 。

令 为输入标记嵌入 的学习线性投影。在计算注意力之前，我们对查询（）和键（）向量应用 RoPE。RoPE 在每个通道内独立地应用于 个时间标记，但不应用于通道身份标记，这些标记充当位置无关的聚合器。

在 RoPE 增强的注意力中，标记 和 之间的注意力权重由下式给出：

其中 表示旋转角度 ， 是标记 和 在原始未展平序列中的相对时间差。这在多通道设置中至关重要，因为两个在实际时间上接近的标记在展平序列中可能相距很远。使用 确保位置编码与真实的时间结构保持一致，而不是展平的通道顺序。 掩码强制通道解缠，同时仍然允许整个序列中丰富的标记级交互。

设计思想：

通道偏置掩码：相对于允许所有标记自由交互的标准注意力，CbA 通过限制 标记仅关注其自身通道内的标记，强制进行通道解缠。这有助于模型学习更清晰、更独立的通道表示。

RoPE 应用：相对于将 RoPE 应用于所有标记（包括 ），TRACE 选择不将 RoPE 应用于 标记，使其成为位置无关的聚合器。同时，RoPE 基于原始时间差 计算，而不是展平后的序列索引，这确保了跨通道的时间一致性。

TRACE 采用仅编码器的 Transformer，其中包含多头通道偏置注意力层。在标记化和嵌入之前，我们对多元时间序列应用可逆实例归一化。以掩码比例 随机掩码这些标记中的固定比例，模型被预训练以基于未掩码的上下文重建缺失值。我们使用均方误差损失来监督预训练，鼓励模型在捕获跨通道依赖关系的同时，学习适用于下游任务的可迁移表示。

2.3 阶段二：多模态对齐学习

标准的对比学习方法通常依赖于样本级的随机负例。然而，文本描述经常引用特定的变量（例如，温度峰值、阵风），这些无法使用单一的全局嵌入进行精确对齐。为了解决这个问题，我们引入了**通道级对齐**，显式地建模单个时间序列通道与其对应文本上下文之间的交互。这不仅增强了语义精确性，还促进了表示学习的模块化，并实现了变量特定的交互。

模态间的交叉注意力

通过掩码重建预训练时间序列编码器后，我们从最终的 Transformer 层获得隐藏嵌入 ，其中 是展平所有通道后的完整序列长度。从中，我们提取 标记嵌入 ，以及通道身份标记嵌入集合 ，每个对应一个 标记，并作为细粒度锚点，支持通道级的结构化推理。

令 和 分别表示时间序列实例的样本级和第 个通道的文本上下文。文本输入首先使用预训练的语言模型（例如，冻结的 Sentence-Transformer）进行编码，然后通过一个可学习的线性层将其投影到与时间序列表示相同的 维嵌入空间，共同表示为 。这产生了样本级上下文的语义嵌入 和每个通道级描述的嵌入 。

我们进一步在 和通道文本嵌入 之间应用交叉注意力，允许信息在已对齐的通道之间融合。这种交互使模型能够使用语义对齐的文本信息来细化其通道级的时间序列表示。

双重硬负例挖掘

为了增强模型的判别能力，我们开发了一种**双重硬负例挖掘策略**，在样本和通道两个级别引入细粒度的对比压力。这种方法使模型不仅能够区分不相关的时间序列和文本，还能区分那些具有表面时间相似性但语义不同的微妙易混淆对。

对于每个时间序列实例 ，我们根据嵌入余弦相似度，从同一批次中的所有其他样本级报告中挖掘负例候选。对于某个特定通道，我们从更广泛的候选池中挖掘通道级负例，该池包括实例内干扰项（同一样本内的其他通道）和实例间干扰项（不同样本中相同索引的通道）。

具体来说，对于第 个实例的第 个通道，我们将样本级和通道级的负例候选集定义为：

其中 是每个级别的负例样本数量。通过交换时间序列和文本的角色，为 和 定义对称的负例集。

然后，我们在样本级别计算双向 InfoNCE 损失：， ，通道级损失类似。总的对齐目标是两个方向的平均值：

其中 控制通道级对齐的贡献。整个对齐目标与预训练阶段的时间序列编码器的可训练参数以及 中的线性投影头联合优化，同时保持骨干语言模型冻结。

设计思想：

通道级对齐：相对于仅使用 $[CLS]$ 进行样本级对齐的基线方法，TRACE 引入了通道级对齐，通过 $[CIT]$ 标记实现。这允许模型进行更精细的、变量特定的语义匹配。

硬负例挖掘：相对于使用随机或批次内所有其他样本作为负例，TRACE 的硬负例挖掘策略主动选择最相似的负例（Top-K 相似度），这提供了更强的对比信号，迫使模型学习更鲁棒和更具判别性的表示，以区分语义上接近但不同的样本/通道。

2.4 基于时间序列基础模型的检索增强生成

TRACE 为时间序列基础模型实现了检索增强生成，其灵感来源于 RAG 在 NLP 中的成功。给定一个查询时间序列，TRACE 计算其 标记嵌入，并根据嵌入相似度从预构建的多模态数据库中检索前 个最相关的多模态对 ，其中 是一个历史多元时间序列， 是关联的样本级上下文。

具体来说，时间序列组件被编码为 ，文本上下文 被编码为 （如第 3.3 节所述）。这些表示被连接、堆叠，并通过一个单一的可训练投影层映射，以生成最终的、密集的软标记 ，它作为一个连续的提示，被预置到查询序列输入中。

这种设计允许下游预测器在不修改架构的情况下整合外部知识。重要的是，基础时间序列基础模型在训练期间保持冻结；只有投影层和轻量级的任务特定头部被更新。这种方法确保了效率和模型无关性，实现了跨不同骨干架构的即插即用集成。实际上，TRACE 充当了一个结构化的外部存储器，用历史基础和语义对齐的上下文丰富了模型的输入。

设计思想：

模型无关集成：相对于修改基础模型架构以接受额外上下文，TRACE 的 RAG 策略通过一个可训练的投影层生成软提示，该提示被简单地预置到输入中。这使得 TRACE 可以作为一个独立的模块与任何现有的时间序列基础模型（预测器、分类器等）集成，而无需重新训练或修改其内部结构。

知识增强：相对于仅依赖查询序列本身进行预测，RAG 策略通过检索相关的历史上下文（时间序列+文本）为模型提供了额外的、语义丰富的背景信息，这有助于提高预测准确性，特别是在数据稀缺或存在罕见模式的情况下。

那么，如何系统的去学习大模型LLM？

作为一名深耕行业的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！