商汤重磅研究：AI观看长视频会产生“记忆混乱”，揭示语义聚合幻觉这一隐秘缺陷

【摘要】AI在处理长视频时会产生“语义聚合幻觉”，错误地组合不同事件的真实元素。商汤研究院通过全球首个评测基准ELV-Halluc揭示了这一隐秘缺陷，并提出了基于位置编码优化与偏好训练的有效解决方案。

引言

我们对人工智能的期待，常常是它能像人一样思考和理解世界。在视频理解领域，AI已经取得了惊人的进步。它能识别画面中的物体，判断人物的动作，甚至理解短片的情感基调。这让我们产生一种错觉，似乎AI已经掌握了观看视频的奥秘。

但是，当视频的长度从几十秒延伸到几十分钟甚至几小时，情况就变得复杂起来。商汤研究院的科学家们进行了一项重磅研究，揭示了一个潜藏在长视频理解深处的隐秘缺陷。他们发现，AI在观看长视频时，会产生一种特殊的“记忆混乱”，研究者将其命名为**“语义聚合幻 giác” (Semantic Aggregation Hallucination, SAH)**。

这个发现有些颠覆认知。它说的不是AI看不懂画面，恰恰相反，AI对每个片段的理解可能都是正确的。问题出在“聚合”这个环节。AI像一个记忆力很好但逻辑混乱的学生，把不同时间点发生的真实事件元素错误地拼凑在一起，编造出一个看似合理却从未发生过的情节。

为了系统性地研究并解决这个问题，商汤团队不仅深入剖析了其内在机理，还打造了全球首个专门用于检测此类幻觉的评测基准ELV-Halluc。这项工作不仅为我们揭示了当前视频AI的真实能力边界，也为构建更可靠、更智能的AI系统指明了方向。

一、🎥 幻觉的幽灵：长视频理解的隐秘角落

1.1 从短视频到长视频的鸿沟

AI视频理解技术的发展，长期以来都聚焦于短视频。这很自然，短视频时长短、事件单一、上下文简单，是验证模型能力的理想“实验室”。在几十秒的视频里，AI模型可以轻松捕捉核心内容，表现得相当出色。

但现实世界远比实验室复杂。我们每天接触大量长视频，比如一场完整的体育比赛、一节在线课程、一次冗长的会议记录，或是一档新闻节目。这些长视频的共同特点是包含多个独立的、连续的事件。

当AI从处理短视频的“舒适区”走向处理长视频的“真实战场”时，一道巨大的鸿沟便显现出来。模型需要处理的信息量呈指数级增长，不仅要理解每一帧的视觉内容，更要构建一个连贯、准确的全局时间线。这对其记忆能力、上下文关联能力和信息整合能力都提出了前所未有的挑战。过去的模型设计和评测方法，显然没有为这场硬仗做好充分准备。

1.2 揭示“语义聚合幻觉”

正是在对长视频的深入探索中，研究团队发现了“语义聚合幻觉”这个隐秘的幽灵。

我们可以用一个生动的例子来理解它。假设一个AI在观看一档一小时的新闻节目。

• 第一个片段（0-5分钟） 主持人A穿着蓝色西装，手里拿着一份文件，报道财经新闻。

• 第二个片段（15-20分钟） 记者B在户外报道，背景里有一家星巴克。

• 第三个片段（40-45分钟） 主持人A换了一套灰色西装，讨论天气情况。

当被问及第一个片段的内容时，一个产生语义聚合幻觉的AI可能会回答“主持人A穿着蓝色西装，拿着一个星巴克杯子报道财经新闻”。

这个回答非常具有迷惑性。主持人A、蓝色西装、财经新闻、星巴克杯子，这些元素都真实地出现在视频中。AI没有看错任何一个物体。但它犯了一个更深层次的错误，它将属于第二个片段的“星巴克”元素，错误地“聚合”到了第一个片段的场景中，造成了时空错配。

这就是语义聚合幻觉的本质。它不是视觉层面的识别失败，而是语义层面的组织和关联失败。AI的“记忆”里装满了正确的碎片，但在重组故事时，却把碎片放错了位置。这种现象在短视频中几乎不会发生，因为信息量小，混淆的可能性低。但在长视频中，随着事件数量的增加，这种“记忆混乱”的风险也急剧上升。

1.3 幻觉的三种面孔

为了更精确地定位问题，研究团队将视频AI的错误类型归纳为三种。语义聚合幻觉是其中最特殊、最隐蔽的一种。

通过这个对比可以发现，视觉错误和语言偏见错误相对容易被发现和诊断。前者可以通过检查画面来证伪，后者可以通过对比常识与视频内容来识别。

但语义聚合幻觉是最危险的。因为它产生的所有元素都来自视频本身，使得其描述听起来非常可信。如果一个AI系统被用于安防监控分析或医疗视频记录，这种“张冠李戴”式的错误可能会导致灾难性的后果。比如，它可能错误地报告“嫌疑人A在下午3点出现在B地点”，而实际上嫌疑人A出现在下午5点，下午3点出现在B地点的是另一个人。

1.4 幻觉的诱因

研究团队进一步探究了引发语义聚合幻觉的关键因素。他们发现，幻觉的严重程度与几个因素密切相关。

• 视频复杂度是主因 幻觉的发生率与视频的总时长没有直接的正相关关系，但与视频中包含的独立事件数量显著正相关。一个10分钟包含10个独立事件的视频，比一个30分钟只包含2个事件的视频，更容易诱发幻觉。这说明，AI的“记忆带宽”在处理多个离散事件时会变得紧张，从而导致信息混淆。

• 内容变化速度的影响 变化快速的视觉细节（如物体的颜色、屏幕上的文字）比变化缓慢的宏观内容（如场景的整体描述）更容易引发幻觉。这符合人类的记忆规律，我们更容易记混快速闪过的细节，而对故事的主线记忆更稳定。AI似乎也面临同样的问题，其注意力机制在处理高频变化的信息时更容易发生错位。

这些发现为后续设计评测基准和寻找解决方案提供了重要的理论依据。问题的核心不在于看得“清”，而在于记得“准”和理得“顺”。

二、🔬 精密的手-术-刀：ELV-Halluc基准的诞生

发现问题只是第一步，如何系统性地衡量和复现这个问题，是通往解决方案的关键。为此，商汤的研究者们打造了一把精密的“手-术-刀”——全球首个专门针对长视频语义聚合幻觉的评测基准ELV-Halluc。

2.1 为何需要一个专属“体检中心”

在ELV-Halluc出现之前，现有的视频理解评测基准大多关注短视频，或者在长视频评测中只考察整体的问答或摘要能力。这些方法无法精确地剥离出语义聚合幻觉这一特定问题。

这就好比用一张综合体检表去诊断一种罕见的遗传病，虽然能发现一些异常指标，但无法准确定位病因。研究团队需要一个专门的“基因测序”工具，一个为长视频幻觉问题量身定制的“体检中心”，来精确诊断AI的“记忆混乱”到底有多严重。

ELV-Halluc的设计目标非常明确。

1. 可诱导性 能够有效地诱发模型产生语义聚合幻觉。

2. 可测量性 能够精确地量化幻觉的严重程度。

3. 可分离性 能够将语义聚合幻觉与其他类型的错误区分开。

2.2 基准设计的巧思

为了实现这些目标，研究团队在数据集的构建和标注上展现了巧妙的构思。

2.2.1 视频素材的选择

他们选择了一种特殊类型的视频——“事件接事件”（Event-to-Event）视频。这类视频的结构就像电视新闻节目或体育集锦，由多个主题相关但内容独立的片段串联而成。

选择这种视频有三大优势。

• 清晰的边界 每个事件段落都有明确的开始和结束，便于进行精确的时间定位和内容标注。

• 天然的“陷阱” 不同事件段落中的人、物、场景可以被重新组合，形成大量看似合理但实际错误的描述，是诱发语义聚合幻觉的绝佳土壤。

• 直观的复杂度指标 视频中包含的事件数量，可以直接作为衡量视频语义复杂度的指标，便于研究幻觉与复杂度的关系。

2.2.2 数据集的构建流程

数据集的构建过程严谨而高效，可以概括为以下几个步骤。

1. 视频收集 从YouTube上收集了约500个涵盖体育、新闻、教育、生活等多个类别的长视频。

2. 初步筛选 雇请专业的标注人员进行严格筛选，确保每个视频包含2到10个清晰可辨的事件段落，平均时长超过11分钟。

3. 半自动标注 为了提高效率，研究团队首先使用谷歌的Gemini 2.5 Flash模型为每个事件段落生成初始的描述文本。

4. 人工校验与修正 随后，专业标注人员对机器生成的描述进行逐字逐句的检查和修正，确保其完全忠实于视频内容。这个环节是保证数据质量的核心。

5. 生成评测样本 最终，团队获得了348个高质量的标注视频，构成了ELV-Halluc基准的核心。

这种“人机结合”的标注流程，既利用了大型语言模型的强大文本生成能力，又通过严格的人工审核保证了标注的准确性和可靠性，是构建高质量评测数据集的典范。

2.3 “陷阱题”测试系统

有了高质量的素材，接下来就是设计巧妙的测试方法。研究团队的解决方案，就像是为AI设计了一套专门的“陷阱题”。

2.3.1 对比测试的核心思想

测试的核心思想是对比测试。对于视频中某个事件段落的一个正确描述（我们称之为“事实”），研究团队会精心构造两个版本的错误描述。

• 视频内幻觉 (In-video Hallucination) 这种描述将“事实”中的某个元素（如物体、动作、颜色）替换为同一视频中其他事件段落里出现的元素。这是专门用来检测语义聚合幻觉的“陷阱”。

• 视频外幻觉 (Out-of-video Hallucination) 这种描述则将“事实”中的元素替换为完全没有在这个视频中出现过的元素。这用来检测模型更普遍的视觉错误或语言偏见。

举个例子，假设事实是“一个穿着红色球衣的球员在投篮”。

• 视频内幻觉 “一个穿着蓝色球衣的球员在投篮”（假设蓝色球衣在视频的其他片段出现过）。

• 视频外幻觉 “一个穿着绿色球衣的球员在投篮”（假设绿色球衣从未在视频中出现）。

这种设计的巧妙之处在于，它能精确地区分不同类型的错误。

• 如果一个模型无法识别“视频外幻觉”，说明它连基本的视觉事实都无法核对，存在严重的感知问题。

• 如果一个模型能识别“视频外幻觉”但被“视频内幻觉”误导，这就强烈地表明，它确实产生了语义聚合幻觉。它知道绿色球衣不存在，但因为它在视频的其他地方见过蓝色球衣，所以错误地接受了蓝色球衣出现在当前场景的描述。

通过比较模型在这两种“陷阱题”上的错误率，研究者就能精确地量化语义聚合幻觉的严重程度。

2.3.2 评测维度的划分

为了使评测更加全面，研究团队将测试内容细分到四个不同的维度，并分析了它们各自对幻觉的敏感度。

这个发现非常符合直觉。就像我们回忆一部电影，我们可能记不清主角在某个场景穿的衬衫颜色（视觉细节），但我们通常不会记错故事的结局（描述性内容）。ELV-Halluc通过这种精细的维度划分，为我们描绘了一幅AI“记忆混乱”的详细地图。

三、📊 震撼的测试结果：AI的“记忆混乱”有多严重

当研究团队使用ELV-Halluc这把精密的手-术-刀对当前主流的视频AI模型进行全面“体检”后，得到的结果令人震惊。这次测试覆盖了16个模型，包括14个顶尖的开源模型和像GPT-4o、Gemini 2.5 Flash这样的闭源旗舰模型。

3.1 全线沦陷的主流模型

测试结果显示，几乎所有模型都存在不同程度的语义聚合幻觉问题。没有一个模型能够完全免疫。这个问题的普遍性和严重性，超出了研究者们最初的预期。这表明，语义聚合幻觉不是个别模型的偶然缺陷，而是当前长视频理解技术路线中一个普遍存在的系统性风险。

3.2 复杂度是罪魁祸首

实验数据清晰地验证了之前的猜想。模型的幻觉率与视频的**语义复杂度（即事件段落的数量）**呈现出强烈的正相关。

• 当视频只包含2-3个事件时，大多数模型表现尚可。

• 当事件数量增加到8-10个时，所有模型的幻觉率都显著上升。

一个有趣的发现是，幻觉率与视频的物理总时长没有直接关系。这意味着，让AI“记忆混乱”的不是信息的多少，而是信息结构的复杂程度。处理一个长达一小时但结构单一的视频（如固定机位的风景延时摄影），可能比处理一个只有十分钟但包含了十个不同新闻片段的视频要容易得多。

3.3 性能与幻觉的脱钩

更令人惊讶的发现是，一个模型在通用视频理解任务上的整体性能，与其在语义聚合幻觉上的表现并不完全相关。

一些在其他评测基准上得分很高的“明星模型”，在ELV-Halluc的“陷阱题”面前同样表现不佳。这说明，语义聚合幻觉是一个独立的、正交于传统性能指标的问题维度。一个模型可能很“博学”（能回答各种关于视频的常识性问题），但它的“记忆”却可能是混乱和不可靠的。

这个发现对整个AI评测领域都提出了警示。仅仅追求更高的综合得分，可能会掩盖掉这些致命的、隐蔽的缺陷。我们需要更具针对性的评测工具，来确保AI在关键应用中的可靠性。

3.4 更多信息，更多混乱

研究团队还做了一个有趣的实验，他们通过增加输入给模型的视频帧数，来观察模型的反应。按理说，提供更多的信息应该有助于模型做出更准确的判断。

结果却出人意料。

• 整体理解能力提升 增加帧数后，大多数模型在常规问答任务上的准确率确实有所提升。

• 语义聚合幻觉加重 与此同时，这些模型的语义聚合幻觉率反而显著增加了。

这个看似矛盾的现象背后，逻辑其实很清晰。更多的帧数意味着更多的细节，这帮助模型更好地识别物体和动作。但这也意味着需要处理和整合的信息量变得更大，信息之间发生混淆和错配的风险也随之增加。这就像给一个本就手忙脚乱的档案管理员塞过去更多的文件，结果只会让他把文件放错柜子的概率变得更高。

3.5 模型规模的无效性

在深度学习领域，一个普遍的信念是“大力出奇迹”，即通过扩大模型规模（增加参数量）可以解决很多问题。然而，在语义聚合幻觉这个问题上，这条定律似乎失效了。

测试结果表明，更大规模的模型在抑制语义聚合幻觉方面，并没有表现出显著的优势。虽然大模型在整体理解上通常更强，但它们同样会陷入“记忆混乱”的困境。

关键发现总结

这些震撼的发现共同指向一个结论。语义聚合幻觉是一个根植于当前模型架构和训练范式深处的根本性问题。简单的修修补补，或是依赖算力的堆砌，都无法将其根除。必须寻找新的“解药”。

四、💡 寻找解药：治愈AI“记忆混乱”的探索之路

既然找到了病根，那么对症下药就成为了可能。面对语义聚合幻觉这个顽固的“病症”，商汤的研究团队没有止步于诊断，而是积极地踏上了寻找“解药”的探索之路。他们从两个关键角度着手，尝试从根本上修复AI的“记忆”机制。

4.1 配备一块更精确的“手表”：改进位置编码

AI理解视频，本质上是在处理一个由海量帧组成的超长序列。为了让AI知道每一帧在时间上的先后顺序，就需要一种叫做**“位置编码”（Positional Encoding）**的技术。它就像给视频中的每一帧都贴上一个独一无二的时间标签，帮助AI构建起“什么时候发生了什么”的时间观念。

如果这个“时间标签”不够精确或者容易混淆，AI的“记忆”自然就会变得一团糟。研究团队推断，现有的位置编码机制可能没有为长视频中复杂的时空关系做好优化，这或许是导致语义聚合幻 giác的根源之一。

4.1.1 VideoRoPE的登场

为此，他们测试了多种位置编码策略，最终发现一种专门为视频设计的编码方法——VideoRoPE，能够带来显著的改善。

传统的RoPE（旋转位置编码）在处理文本等一维序列时表现出色，但视频是三维的（高度、宽度、时间）。VideoRoPE对其进行了巧妙的扩展，使其能够同时编码帧在空间和时间上的位置。更重要的是，它在设计上更侧重于低频信息，这意味着它能更好地捕捉和区分长视频中不同事件段落之间的宏观时间关系。

打个比方，普通的位置编码可能像一块只能显示秒针的手表，在很短的时间内很精确，但看长了就容易搞不清到底是几点几分。而VideoRoPE就像一块同时拥有时针、分针和秒针的精密手表，它不仅能分辨毫秒级的差异，更能清晰地标示出“上午”、“下午”这样的大时间段。这使得AI在整合信息时，能够更准确地将每个记忆碎片放回其所属的正确时间段，从而有效减少“张冠李戴”的错误。

实验结果证实了这一点。仅仅是将模型的位置编码替换为VideoRoPE，语义聚合幻觉的发生率就有了明显的下降。这证明了从底层时空表征入手，是解决该问题的正确方向之一。

4.2 进行针对性的“纠错训练”：直接偏好优化

改进底层架构好比给AI换上了一副好“筋骨”，但要让它真正学会如何正确思考，还需要后天的“教育”。研究团队采用了第二种更直接的方法——直接偏好优化（Direct Preference Optimization, DPO）。

DPO是一种近年来在大型语言模型训练中非常流行的技术。它的核心思想很简单，就是直接告诉模型“我喜欢A，不喜欢B”，让模型学会在两种选择中做出正确的偏好。

4.2.1 DPO训练流程

研究团队将这种思想应用到了治愈语义聚合幻觉上。整个训练过程就像是给AI进行一次高强度的“纠错特训”。

1. 准备素材 基于ELV-Halluc数据集，研究团队创建了约8000对包含正确描述和错误描述的样本。

2. 创建偏好对 每一对样本都由一个“胜者”（正确的描述）和一个“败者”（错误的描述）组成。

3. 模型训练 将这些偏好对输入模型进行训练。训练的目标是让模型调整内部参数，使其在未来遇到类似情况时，能给正确描述更高的置信度，给错误描述更低的置信度。

4.2.2 三种不同的“陪练”

为了找到最高效的训练方法，研究团队设计了三种不同的训练设置，就像为运动员安排了三种不同的“陪练”。

实验结果一目了然。只使用“视频内幻觉”样本进行针对性训练（DPO-In）的效果最好，能够将语义聚合幻觉的发生率大幅降低27.7%。这说明，要治好“记忆混乱”这个病，就需要让AI反复练习区分那些最容易混淆的、来自视频内部的“假想敌”。而训练它去识别那些明显不相关的外部错误，对解决这个核心问题帮助不大。

4.3 意外的惊喜：整体性能的提升

更令人兴奋的是，这种专门的“纠错训练”不仅治好了AI的“幻觉症”，还带来了意外的惊喜。经过DPO训练后，模型在其他通用的视频理解任务（如常规问答）上的表现也获得了普遍的提升。

这个发现意义重大。它表明，解决语义聚合幻觉问题，不是一个“拆东墙补西墙”的零和游戏。它不是单纯地打一个补丁，而是从根本上提升了模型对视频内容，特别是时序关系的理解能力。当AI学会了如何构建一个清晰、准确的时间线，并把每个信息碎片都放在正确的位置上时，它对整个视频的理解自然会变得更加深刻和准确。

这就像一个学生通过专项训练改掉了粗心大意的毛病，不仅在专项测试中取得了高分，他的整体学习能力和成绩也随之水涨船高。

五、🧠 深入大脑：注意力机制的智能重塑

找到了有效的“解药”，研究者们的好奇心并未就此停止。他们还想知道，这“解药”究竟是如何在AI的“大脑”中起作用的？为了揭开这个谜团，他们深入分析了模型在训练前后的**“注意力”（Attention）**变化。

5.1 AI的“注意力”是什么

在大型多模态模型中，注意力机制扮演着至关重要的角色。它模拟了人类的认知过程，让模型在处理海量信息时，能够动态地决定应该关注哪些部分，忽略哪些部分。

当模型需要根据一段视频回答一个问题时，它的注意力机制会扫描整个视频的帧序列，并为每一帧分配一个“注意力权重”。权重越高的帧，说明模型认为它与当前问题最相关，其信息将在最终的回答生成中占据主导地位。

5.2 注意力的“拨乱反正”

通过可视化注意力权重的分布，研究团队清晰地看到了DPO训练带来的深刻变化。

5.2.1 训练前：注意力被“带偏”

在训练前，当模型被要求判断一个包含“视频内幻觉”的错误描述时，一个典型的现象发生了。假设问题是关于视频的第一个事件，而错误描述中混入了一个来自第三个事件的元素。

此时，模型的注意力会表现出**“分裂”和“漂移”**。它的一部分注意力会正确地集中在第一个事件的相关帧上，但还有相当一部分注意力会被那个错误的元素所吸引，从而“漂移”到第三个事件的帧上。正是这种注意力的分散和错误引导，导致模型最终做出了错误的判断，它“看到”了来自不同时空的信息，并错误地将它们缝合在了一起。

5.2.2 训练后：学会“专注”与“忽略”

经过DPO的“纠错特训”后，同样面对这个包含幻觉的描述，模型的注意力分配发生了根本性的重塑。

模型学会了忽略那些时空不匹配的干扰信息。当它处理关于第一个事件的问题时，即使描述中出现了第三个事件的元素，它的注意力权重也会高度集中在第一个事件的帧序列上，而给予第三个事件相关帧极低的权重。

这就像一个经验丰富的侦探在分析案情。即使证人A的证词中提到了一个只可能在B证人描述的场景中出现的物品，侦探也能立刻意识到这是一个记忆错误，并把注意力集中在A证人本身所处时空的线索上，而不会被那个错误的物品带偏思路。

5.3 从简单抑制到智能选择

这种注意力的重新分配，不是简单的“抑制”，而是一种更高级的**“智能选择”**。AI并不是粗暴地屏蔽掉所有其他事件的信息，而是在具体的上下文语境中，学会了判断哪些信息是相关的，哪些是干扰。

它学会了利用时间信息（来自VideoRoPE等位置编码）来构建一个“上下文过滤器”。当分析一个特定时间点的事件时，它会优先关注该时间点附近的信息，并对那些来自遥远时间点的信息保持“警惕”。

这个过程，就像一个学生在嘈杂的教室里学会了如何屏蔽邻座的聊天声，专心听讲台上的老师讲课。这种能力的获得，标志着AI从一个被动的信息接收者，向一个主动、智能的信息筛选者迈进了一大步。DPO训练，正是教会AI如何进行这种智能筛选的关键一课。

六、🔭 局限性与未来的星辰大海

尽管商汤团队的这项研究取得了里程碑式的突破，但本着科学的严谨精神，研究者们也坦诚地指出了当前工作存在的一些局限性，并为未来的探索指明了方向。

6.1 诚实的局限性

一项优秀的研究，不仅在于它解决了什么问题，还在于它清晰地认识到自己尚未解决什么。

• 标注偏差的可能性 在构建ELV-Halluc基准时，研究团队使用了Gemini模型来生成初始的描述文本。这虽然极大地提高了效率，但也带来了一个潜在的偏向性问题。在对Gemini模型本身进行评测时，其表现可能会因为“既是运动员又是裁判”而显得更好。不过，研究团队也指出，这种影响主要局限于对Gemini自身性能的评估，对于揭示语义聚合幻觉这一现象的普遍性，以及对其他模型的横向比较和整体研究结论，影响是有限的。

• 数据集结构的单一性 “事件接事件”的视频结构是研究语义聚合幻觉的理想模型，因为它简化了问题，便于隔离变量。但真实世界的长视频远比这复杂。视频的叙事结构可能是交错的、非线性的，事件之间可能存在更微妙的因果或关联关系。未来的研究需要将视野扩展到这些更复杂的视频类型，以检验当前发现的普适性。

• 数据集规模的限制 高质量的人工标注成本高昂，这限制了ELV-Halluc数据集的最终规模。虽然348个视频已经足以支撑得出稳健的结论，但更大规模的数据集无疑会带来更全面的洞察，并有助于训练出更鲁棒的模型。如何开发更高效、更低成本的标注方法，是未来需要解决的工程挑战。

6.2 未来的探索之路

这项研究为长视频理解领域打开了一扇新的大门，门后的世界充满了值得探索的课题。

• 自动化标注与数据集扩展 解决规模限制的关键在于降低标注成本。未来可以探索更先进的半自动或全自动标注流程，比如利用模型自身的“自省”能力来生成和校验数据，或者通过众包平台设计更巧妙的标注任务，以期构建规模更大、多样性更强的评测基准。

• 更先进的位置编码与模型架构 VideoRoPE的成功证明了时空表征的重要性。未来的研究可以继续沿着这个方向深入，探索能够处理更复杂时序关系（如循环、交错）的位置编码方案。同时，在模型架构层面，或许可以引入专门的“记忆模块”或“事件图谱”来帮助AI更好地组织和管理长时程信息。

• 超越DPO的训练策略 DPO被证明是有效的，但它并非唯一的解决方案。未来可以尝试结合强化学习（Reinforcement Learning），让模型在与环境的交互中学会如何生成更忠实于事实的描述。对抗性训练（Adversarial Training）也是一个有潜力的方向，通过生成越来越难以分辨的“幻觉”样本来“锻炼”模型的辨别能力。

• 向更广阔的多模态领域泛化 语义聚合幻觉绝不只是视频理解领域的特有现象。可以预见，在任何需要处理长序列、多事件的多模态任务中，都可能存在类似的“跨段错配”风险。

  • 长文档理解 AI在阅读一篇长篇报告时，是否会把第一章的数据和第五章的结论错误地关联起来？

  • 多图像分析 在分析一个包含数十张照片的相册时，AI是否会把A照片里的人和B照片里的背景错误地组合？

  • 对话系统 在一段长长的多轮对话中，AI是否会混淆不同发言人的观点？

商汤的这项研究为这些领域敲响了警钟，其提出的评测思想和解决方案，也为解决这些领域中的类似问题提供了宝贵的借鉴。

总结

这项由商汤研究院带来的重磅研究，其意义远远超出了技术本身。它告诉我们一个深刻的道理，在通往通用人工智能的道路上，我们不仅要为AI的每一次性能飞跃而欢呼，更要对其暴露出的每一个细微缺陷保持警惕。

“语义聚合幻觉”的发现，就像是在AI光鲜亮丽的外表下，找到了一条隐秘的裂痕。这条裂痕提醒我们，当前的AI在处理复杂、长时程信息时，其“记忆”和“逻辑”还远未达到人类的可靠水平。

而ELV-Halluc基准的建立和相关解决方案的提出，则是在修复这条裂痕的道路上迈出的坚实一步。它为整个AI社区提供了一套行之有效的诊断工具和治疗方案，推动长视频理解技术从“能看懂”向“能理顺”的更高阶段迈进。

随着AI技术日益深入地渗透到我们的生活和工作中，从自动生成会议纪要，到分析教学视频，再到辅助安防监控，我们对AI的可靠性要求也越来越高。解决语义聚合幻觉这类根本性的缺陷，正是确保AI能够成为我们值得信赖的伙伴，而非一个偶尔会“记忆混乱”的工具的关键所在。这项工作，必将推动整个领域向着更成熟、更可靠、更实用的方向发展。

Q&A

Q1：什么是语义聚合幻觉？它和普通的AI错误有什么区别？

A：语义聚合幻觉是AI在理解长视频时出现的一种特殊错误现象。与普通错误不同，AI能正确识别视频中的每个画面内容，但会错误地将属于不同时间段或事件的信息混合在一起。就像一个人看新闻时，把第一条新闻中的主持人和第三条新闻中提到的星巴克错误地组合成"主持人拿着星巴克杯子播报第一条新闻"。这种错误特别隐蔽，因为所有元素都是视频中真实存在的，只是时间和归属关系搞混了。

Q2：ELV-Halluc基准是如何检测语义聚合幻觉的？

A：ELV-Halluc采用巧妙的对比测试方法。对每个正确的视频描述，研究团队创建两个错误版本，一个是"视频内幻觉"（用同一视频其他片段的元素替换），另一个是"视频外幻觉"（用完全不存在的元素替换）。如果AI被第一种错误误导但能识别第二种错误，就说明出现了语义聚合幻 giác。通过比较这两种错误的发生率，可以精确测量语义聚合幻觉的严重程度。

Q3：如何解决AI的语义聚合幻觉问题？

A：研究团队发现了两个有效方法。首先是改进位置编码机制，特别是使用VideoRoPE编码，就像给AI配备更精确的时间标签，帮助它记住"什么时候发生了什么"。其次是使用直接偏好优化训练，创建8000对正确和错误的样本来训练AI区分正确描述和混淆描述。这种针对性训练能将语义聚合幻觉发生率降低27.7%，同时提升模型整体性能。

📢💻 【省心锐评】

这项研究将行业视线从追求“看清”拉回至“理顺”。修复AI的“记忆”缺陷，是长视频理解从实验室走向工业应用必须迈过的坎。