🤖从纸面到现实：浙大团队用OmniEAR深剖AI物理智能困境

【摘要】浙江大学团队通过OmniEAR基准测试揭示，顶尖AI在物理世界中表现不佳的根源在于“体感推理”能力的缺失。研究发现，模型难以理解物理约束、合理使用工具和自主协作，单纯扩大模型规模无法解决根本问题。

引言

在科幻电影的宏大叙事中，机器人是无所不能的伙伴，它们能精准地搬运重物，灵巧地修理精密设备，甚至与人类进行天衣无缝的协作。然而，当我们把目光从银幕拉回现实，一幅截然不同的景象展现在眼前：即便是那些在语言和逻辑游戏中所向披靡的顶尖AI模型，一旦置身于充满不确定性的物理世界，便常常显得笨拙、迟钝，甚至“掉链子”。

为什么会这样？这个从实验室到现实世界的“最后一公里”，为何如此难以跨越？是我们的算法不够先进，还是我们从根本上误解了智能的本质？

浙江大学的王子轩、李定铭等研究者领导的团队，决定不再满足于表象的观察，而是要深入问题的根源，系统性地解剖AI在物理世界中的“无能”。他们于2025年8月发表的突破性研究《OMNIEAR: BENCHMARKING AGENT REASONING IN EMBODIED TASKS》（arXiv:2508.05614v1），如同一枚深水炸弹，在人工智能领域激起了巨大的波澜。

研究团队发现了一个令人费解却又极其关键的现象：当前最强大的语言模型，虽然在抽象推理的棋盘上运筹帷幄，但一旦需要它们理解现实世界的物理法则——比如判断一个箱子是否需要两人合力才能搬动，或者识别在何种情况下必须借助特定工具——它们的表现便会断崖式下跌。更吊诡的是，在某些情况下，为模型提供更详尽的环境信息，非但没能帮助它们，反而使其协作能力变得更差。这好比给一个本已迷路的人塞去一沓更复杂的地图，结果只能让他更加困惑。

为了将这些零散的“症状”系统化地归纳为可诊断的“病因”，团队开发了一个名为OmniEAR的综合评估框架。你可以把它想象成一套专为AI智能体设计的“驾照考试系统”，测试的并非驾驶技巧，而是在纷繁复杂的现实世界中进行物理推理与行动的综合能力。这个“考场”异常逼真且严苛，包含了1500个精心设计的测试场景，涵盖从家庭日常到工业生产的各种环境，内部署了超过64000个虚拟物体和6000多种不同的物理属性。

测试结果令人震惊：即便是被寄予厚望的GPT-4o模型，在面对清晰明确的指令时，成功率能高达85-96%；然而，当任务要求它从物理约束中自行推断行动策略时，成功率骤降至56-85%。在那些需要多个智能体协作的复杂任务中，失败率更是触目惊心，普遍超过50%。这活脱脱就是一个理论考试门门优秀，一进实验室动手操作就手足无措的“高分低能”学生。

这项研究不仅为我们揭示了AI在物理世界中屡屡受挫的惊人真相，更重要的是，它为我们指明了通往真正“具身智能”的崎岖道路上，究竟布满了哪些过去被我们忽视的障碍。

🧬 一、揭开"体感推理"的神秘面纱

想象一个再普通不过的生活场景：你正在帮朋友搬家。当你的目光落在一个巨大的实木书柜上时，你的大脑几乎在瞬间就完成了一系列复杂的计算，并得出一个结论——“这玩意儿一个人肯定不行，得找人帮忙”。这个过程对人类而言，如呼吸般自然，我们甚至意识不到这是一种高级智能。然而，对于AI来说，这却是一道难以逾越的鸿沟。

研究团队将这种深植于物理世界交互经验中的智能，定义为**“体感推理”（Embodied Reasoning）**。它并非单一的能力，而是由三个相互关联、层层递进的核心能力所构成。

1.1 属性推理：超越“开”与“关”的连续世界

人类对世界的感知是连续的、模拟的。我们能轻易判断哪个杯子里的水更烫，哪块海绵更有弹性，哪块石头更重。这种对物体连续物理属性（如重量、温度、材质、硬度）的理解和比较，是我们在物理世界中做出正确决策的基础。

然而，过去绝大多数对AI的评估体系，都将世界极度简化。它们关注的往往是离散的状态变化：门是“开”还是“关”，灯是“亮”还是“灭”，物体是“被拿起”还是“被放下”。这种二元对立的建模方式，完全忽略了构成真实世界的、丰富多彩的连续属性。一个AI如果无法理解“重”与“更重”之间的区别，它又如何能判断一个任务是否超出了自己的能力范围呢？OmniEAR正是要打破这种简化的范式，迫使AI进入一个需要理解和比较连续值的、更接近真实的世界。

1.2 工具使用推理：从“能力固化”到“动态扩展”

在现实生活中，人类是天生的工具使用者。当你发现徒手无法拧开一个瓶盖时，你会自然地去寻找毛巾或开瓶器来增加摩擦力或力矩。工具，本质上是我们自身能力的延伸。这意味着，我们的能力是动态变化的。

然而，传统的AI评估框架往往给智能体一个固定的“工具箱”，其能力在任务开始时就被焊死。这种设定无法测试AI一个更高级的认知能力：识别自身能力的缺陷，并主动通过寻找和使用工具来弥补这一缺陷。一个真正智能的代理，在接到“清洁桌面”的指令时，应该能意识到自己本身不具备“清洁”这一动作，从而推理出需要先找到一块抹布，拿起它，才能获得执行清洁任务的能力。OmniEAR通过其创新的动态能力管理系统，首次将这种“元认知”层面的推理能力纳入了评估范围。

1.3 协作推理：从“被动听令”到“主动发起”

当任务的难度超越了个体能力的极限时，协作便应运而生。无论是合力搬运一件沉重的家具，还是分工合作组装一台复杂的机器，协作的关键在于，这种需求应该从任务本身的物理约束中自然浮现，而不是通过外部指令强加。

“智能体A，智能体B，你们俩一起去把那个柜子搬过来。”——这是过去评估框架中常见的“伪协作”，它测试的仅仅是简单的指令同步和执行协调。而真正的协作推理是，当智能体面对一个重达200公斤的柜子时，它能够根据自己最大50公斤的负重能力，推理出“此任务无法独立完成，必须寻求至少三位同伴的帮助”，并主动发起协作请求。

浙大团队敏锐地指出，现有的评估方法存在着根本性的缺陷。它们就像在测试一个人的驾驶技术时，只让他在一个空旷无人的停车场里转圈，却从不让他驶入车水马龙的真实街道。这种在“无菌环境”中进行的测试，无论得分多高，都无法真实反映AI在应对真实世界复杂性与不确定性时的真正实力。

🔬 二、构建虚拟的"现实世界实验室"

要修正过去评估方法的短视，就必须创造一个全新的“考场”。这个考场既要能模拟真实世界的复杂物理法则和空间关系，又要足够高效，以便进行成千上万次的大规模自动化测试。传统的3D物理仿真引擎虽然逼真，但其巨大的计算开销使其难以胜任这一角色。

为此，研究团队独辟蹊径，开发了一套创新的文本基础环境建模系统。这套系统的精妙之处在于，它用一种结构化的文本格式，构建了一个拥有真实物理属性和复杂空间关系的虚拟世界。

2.1 高效的图结构环境表示

想象一下，我们不用建造一个完整的3D模型，而是用一张详细的建筑蓝图来规划房屋布局。这张蓝图虽然是二维的，但包含了所有关键信息：房间的连接关系、门窗的位置、家具的尺寸等等。OmniEAR的环境建模正是基于类似的思想。

它将整个环境表示为一个有向图（Directed Graph）。

• 节点（Nodes）：代表空间位置（如客厅、厨房）、物体（如桌子、杯子）或智能体。

• 边（Edges）：代表节点之间的关系（如“桌子”位于“客厅”中，“杯子”在“桌子”上，“智能体A”持有“扳手”）。

每个物体节点都附带着丰富的物理属性，如重量、温度、材质等连续值。这种图结构表示法，巧妙地在保留物理推理所需核心信息的同时，规避了传统3D仿真高昂的渲染和物理计算开销，使得大规模、高效率的基准测试成为可能。

2.2 动态能力管理系统

这是OmniEAR区别于以往基准测试的核心创新之一。在传统评估中，AI的能力是静态的、预设的。而在OmniEAR中，AI的能力是通过与环境中的工具交互而动态获得的。

这个机制的实现非常巧妙：

1. 初始状态：智能体只具备移动、观察、拿起/放下等基本动作。

2. 获取工具：当智能体执行“拿起扳手”的动作后，系统会动态地将“修理”这个新的能力添加到该智能体的能力集合中。

3. 失去能力：当它放下扳手时，“修理”能力又会从其能力集合中被移除。

这种设计，更真实地反映了现实世界中人与工具的交互本质，迫使AI必须进行“为了获得某种能力，我需要先去获取某个工具”的二阶推理。

2.3 物理约束驱动的协作机制

OmniEAR在协作机制的设计上也极具匠心。系统不会用“上帝之声”告诉AI何时需要合作。相反，它通过物理约束来自然地诱发协作需求。

例如，一个物体的重量属性被设定为100公斤，而单个智能体的“承载能力”属性被设定为60公斤。当一个智能体尝试“拿起”这个物体时，环境的物理规则会判定该动作失败，因为100 > 60。此时，系统允许智能体主动发起一个“请求协作”的动作，并指定协作对象和目标。只有当足够多的智能体（在这个例子中是至少两个）加入协作，它们的承载能力之和（60 + 60 = 120）超过了物体的重量，这个联合动作才能成功。

这种设计，将协作从一个简单的指令执行问题，提升到了一个需要自我评估、环境感知和社交推理的复杂认知任务。

2.4 人机结合的基准生成流水线

为了确保1500个测试场景的全面性、多样性和可靠性，研究团队还开发了一套自动化的基准生成流水线，堪称“考题制作”的典范。

1. 创意生成：利用大语言模型（LLM）的创造力，根据从互联网上搜集的语义种子（如“家庭维修”、“仓库整理”），生成多样化的任务场景描述。

2. 自动验证：一个基于规则的自动验证器，会检查生成的场景在结构上是否一致、物理上是否可行、逻辑上是否连贯。例如，它会检查一个物体不能同时在两个地方，一个密闭的容器里的东西无法直接被拿到。

3. 人工评估：最后，由人类评估员亲自尝试解决每一个通过自动验证的任务，以发现那些机器难以察觉的微妙问题，比如任务描述的歧义、或者存在意想不到的“捷径”等。

这种人机结合的质量保证流程，确保了OmniEAR中的每一个任务都既具有足够的挑战性，能够有效区分不同AI的能力水平，又保证了任务本身是公平且可解的。

🚗 三、七个层次的"智能体驾考"体系

为了能够精准地定位AI模型在哪个认知层面开始“掉链子”，研究团队设计了一个由易到难、层次分明的七级任务分类体系。这套体系就像一套完整的驾照考试，从最基础的科目一（理论知识）到最复杂的科目三（复杂路况实操），系统性地评估智能体的各项能力。

该体系沿着两个核心维度展开：智能体配置（单个 vs. 多个）和认知复杂度（基础、中级、高级）。

我们可以用一个表格来清晰地展示这个“驾考”体系：

3.1 单智能体任务：从“听话”到“会思考”

• 3.1.1 基础：直接指令 (Direct Instruction)
  这相当于最简单的命令，如“请把桌子上的蓝色杯子放到水槽里”。它主要测试AI对语言的基本理解和在虚拟环境中的基础动作执行能力。这是所有更复杂任务的基石。

• 3.1.2 中级：属性推理 (Attribute Reasoning) & 工具使用 (Tool Use)
  这是两个并行的中级挑战。
  属性推理要求AI不再是寻找一个被明确描述的物体，而是要通过比较来识别目标。例如，“移动房间里最重的那个箱子”。这要求AI不仅要理解“重量”这个概念，还要能遍历房间里的所有箱子，比较它们的重量属性，然后做出决策。
  工具使用则考验AI的“元认知”。面对“修理坏掉的收音机”这个任务，AI必须先意识到自己没有“修理”能力，然后推理出需要一个“工具”（如螺丝刀），并在环境中搜索并获取它，最后才能执行修理动作。

• 3.1.3 高级：复合推理 (Composite Reasoning)
  这是单智能体任务的顶峰，它将属性推理和工具使用等多个挑战融合在一起。例如，“用合适的工具清洁最脏的盘子”。这个任务需要AI完成一系列复杂的认知链条：首先，比较所有盘子的“肮脏度”属性找到目标；然后，判断“清洁”任务需要工具；接着，找到并获取“清洁海绵”；最后，执行清洁动作。这极大地考验了模型的多步骤规划和维持工作记忆的能力。

3.2 多智能体任务：从“被动组队”到“主动联盟”

• 3.2.1 基础：显式协作 (Explicit Collaboration)
  这类任务会明确给出协作指令，例如，“智能体A和智能体B，请合作打开那个沉重的保险柜”。它主要测试智能体之间基本的通信、同步和协调执行能力，但协作的“决策”是由外部给出的。

• 3.2.2 中级：隐式协作 (Implicit Collaboration)
  这是向真正协作智能迈出的一大步。任务中不再有明确的协作指令。例如，任务只是“将会议室的餐桌移动到储藏室”。智能体需要自己去“发现”这张餐桌的重量（比如150公斤）远超自己的承载能力（比如80公斤），从而自主推断出必须寻求合作，并主动向其他智能体发起协作邀请。

• 3.2.3 高级：复合协作 (Composite Collaboration)
  这是整个OmniEAR体系中最具挑战性的任务，是所有困难的集大成者。例如，“两个智能体合作，使用工具修理位于高处的故障监控摄像头”。这个任务要求智能体们不仅要推断出需要协作（因为摄像头很重或操作复杂），还要推理出需要特定的工具（如梯子和螺丝刀），并进行有效的分工（一个扶梯子，一个进行修理）。这需要工具获取、能力评估、协作推理和复杂协调执行的全套能力。

这种精细的、层次化的任务设计，使得研究团队能够像医生使用一系列精密仪器进行诊断一样，精确地定位不同AI模型在认知能力的哪个环节、哪个层面上出现了性能瓶颈。

📊 四、令人震惊的测试结果

当研究团队将包括GPT-4o、Gemini 1.5 Pro、Claude 3 Opus以及开源的Deepseek-R1、Qwen2-72B等在内的九个业界代表性AI模型，放入这套严苛的“驾考”系统时，得出的结果犹如一面“照妖镜”，清晰地照出了当前AI技术光鲜外表下的诸多深层问题。

4.1 复杂度面前的“性能雪崩”

在最基础的“直接指令”任务中，一切看起来都还不错。表现最好的模型，如GPT-4o，能够达到85-96%的惊人成功率。这表明，对于理解和执行简单命令，当前的大模型已经相当可靠。

然而，一旦任务的认知复杂度稍有提升，性能便开始急剧下滑。

• 在需要获取工具的工具使用任务中，最佳模型的成功率就跌落到了73-86%。

• 在需要比较物理属性的属性推理任务中，性能进一步下降到42-78%。

• 在最复杂的单智能体复合推理任务中，成功率更是惨不忍睹。

这种性能的急剧衰减，就像一个在平坦公路上能开到120码的赛车，一旦遇到一个稍微陡峭的坡道，速度就立刻掉到30码，甚至熄火。这有力地证明了，当前AI的“智能”在面对现实世界的复杂性时，是何其脆弱。

4.2 模型规模的“非线性魔咒”

在AI领域，“大力出奇迹”——即增加模型参数规模就能提升性能——几乎成了一条金科玉律。然而，OmniEAR的测试结果却揭示了这条定律的适用边界。

研究团队测试了从30亿到6710亿参数的各种规模模型，发现了一些出人意料的规律：

• 简单任务，规模为王：对于“直接指令”和“工具使用”这类任务，性能确实随着模型规模的增长而急剧提升。30亿参数的小模型成功率几乎为零，而当规模增长到720亿参数时，成功率能跃升至90%以上。

• 复杂任务，规模失灵：然而，对于需要更深层次推理的“属性推理”和“复合推理”任务，性能的提升在模型规模达到720亿参数后就基本趋于平缓。这意味着，对于某些类型的物理推理，单纯地堆砌更多的参数并不能解决问题。智能的涌现，并非简单的量变累积。

4.3 “逻辑大师”与“物理白痴”的分化

更有趣的发现来自于对不同类型模型的横向比较。专门为推理任务优化的模型，如Deepseek-R1，表现出了截然不同的“性格”。

• Deepseek-R1：这个模型在需要复杂逻辑规划的任务上表现卓越，例如，在最难的“复合协作”任务上，它取得了48.5%的最高成功率，远超其他模型。它像一个逻辑思维缜密的棋手，擅长规划复杂的步骤。

• GPT-4o：相比之下，GPT-4o在需要将抽象概念映射到具体物理属性的任务上表现更佳。在“属性推理”任务上，它的成功率高达77.8%，而Deepseek-R1只有41.9%。GPT-4o更像一个经验丰富的工匠，对物理世界有更好的直觉。

这种表现上的分化说明，“推理”本身并非一个单一的能力。我们所说的逻辑推理和体感推理，可能需要截然不同的底层机制。一个模型可能是一个出色的“数学家”，但同时是一个糟糕的“物理学家”。

4.4 “信息过载”的诅咒

研究中一个最令人困惑的现象是：在多智能体协作任务中，为模型提供更完整的环境信息，反而会降低其协作性能。

这个被称为**“信息过载效应”**的现象，直接挑战了我们“信息越多，决策越好”的直觉。研究团队推测，这暴露了当前模型注意力机制的一个根本缺陷。在处理抽象文本时，所有信息通常都是相关的。但在物理世界中，环境中充斥着大量与当前子任务无关的信息。模型似乎无法有效过滤掉这些“噪音”，从海量时空信息中精确筛选出与任务相关的关键物理约束。就像给一个本已焦头烂额的决策者不断地递送各种报告，最终只会导致他无法抓住重点，做出错误的判断。

4.5 协作任务中的“全线溃败”

如果说单智能体任务的性能下降是“令人担忧”，那么多智能体任务的表现则堪称“灾难性”。

• 从“显式”到“隐式”的鸿沟：即便是表现最好的模型，在需要自主判断协作时机的“隐式协作”任务上，成功率也比指令明确的“显式协作”任务低了10-15个百分点。

• 复杂协作的“天花板”：在最复杂的“复合协作”任务中，所有模型的成功率都未能超过50%，绝大多数模型的表现甚至在40%以下。

这表明，当前的AI不仅难以理解“我”与物理世界的关系，更难以理解“我们”与物理世界的关系。协作，这一人类社会智能的基石，对AI来说，依然是一个遥远的目标。

🧐 五、深层问题的根源分析

为了从“知其然”到“知其所以然”，研究团队对海量的失败案例进行了细致的“尸检”，试图找出导致这些令人困惑结果背后的根本原因。他们发现，不同类型的任务失败，源于截然不同的认知缺陷。

5.1 失败模式的系统性剖析

• 工具使用任务 -> 探索不足 (Insufficient Exploration)
  在这类任务中，最主要的失败原因（占31.2%）是模型未能进行系统性的环境搜索来定位所需工具。它们往往只是检查了几个最显眼的地方，如果没找到，就会陷入循环或直接放弃。这就像一个人找钥匙，只看了看桌面和门口的鞋柜，就断定钥匙丢了。有趣的是，参数量少于70亿的模型在此类任务上的失败率高达84.2%，而更大模型的失败率则降至31.2%，这表明存在一个关键的规模阈值，超过这个阈值，模型才具备了进行有效探索的基础能力。

• 复合推理任务 -> 规划退化 (Planning Degradation)
  对于需要多步骤操作的复杂任务，主要的失败原因（占28.7%）是模型在执行过程中“忘记”了最初的计划或中间的子目标。它可能成功完成了前两个步骤，但在第三步时，就偏离了正确的轨道。这反映了当前Transformer架构在维持长期工作记忆和跟踪复杂任务状态方面的根本局限性。

• 隐式协作任务 -> 时机误判 (Timing Misjudgment)
  最令人意外的失败模式出现在隐式协作中。高达35.8%的失败源于协作时机的判断错误。模型要么在任务完全可以由单人完成时就草率地请求协作（过早），要么在任务明显失败、错过最佳协作窗口后才想起要合作（过晚）。更重要的是，研究发现这种失败模式与模型规模几乎没有相关性。无论是小模型还是巨无霸模型，都同样不擅长把握协作的时机。这强烈暗示，协作时机判断需要的是一种当前所有模型架构中都完全缺失的、全新的推理机制。

5.2 执行效率的巨大差异

研究团队还通过比较模型生成的解决方案与人类专家演示的路径长度（相对步数比），来分析其执行效率。

• 单智能体任务：表现出一致的中等效率，中位相对步数比在0.40到0.55之间。这说明模型虽然能完成任务，但路径规划通常不是最优的。

• 多智能体任务：效率更低，且不同模型之间的差异性（方差）更大。这表明在多智能体场景下，模型难以形成高效的协同策略。

• 复合协作任务的双峰分布：在最难的复合协作任务中，出现了一个引人注目的双峰分布现象。模型要么采用极其简单的、效率低下的顺序执行策略（一个智能体完成所有步骤，另一个原地待命），要么尝试极其复杂的、但往往因为协调失败而导致任务失败的并行协作策略。它们很少能找到介于两者之间的、成功的、中等复杂度的适应性策略。这种两极分化表明，当前模型缺乏根据任务约束动态选择合适协作策略的灵活性。

5.3 计算效率的三种模式

通过分析模型在解决问题时消耗的计算资源（以Token数量衡量），研究揭示了三种截然不同的效率模式：

1. 基础模型（如Qwen1.5-7B）：以最少的计算资源（约456-1400个Token）达到中等性能。

2. 商业模型（如GPT-4o, Claude 3）：通过投入更高的计算资源（约1817-2457个Token）来换取更高的成功率。

3. 推理专门化模型（如Deepseek-R1）：消耗惊人的计算资源（高达12000个Token），但在最复杂的任务上表现最佳。

这种“性能-成本”曲线在单智能体和多智能体场景之间发生了戏剧性的转移，清晰地表明，建模多个智能体的状态、意图和协作协议，具有不可避免的、极高的计算复杂性。

💡 六、微调实验的意外发现

面对这些严峻的挑战，一个自然而然的问题是：这些缺陷是否可以通过更好的训练来弥补？或许，我们只是缺少足够好的、针对物理世界的训练数据？

为了回答这个问题，研究团队进行了一系列监督微调（Supervised Fine-Tuning, SFT）实验。他们收集了1942个成功的专家演示轨迹，构建了一个包含20346个“指令-行动”对的数据集，并用它来训练一个30亿参数的基础模型。

实验结果既带来了希望，也带来了更深的忧虑。

• 单智能体任务的巨大飞跃：
  监督微调在单智能体任务上取得了戏剧性的成功。

  • 直接指令任务的成功率从0.6%跃升至76.3%。

  • 工具使用任务从1.8%提升至45.0%。

  • 属性推理任务从0.6%改善至33.5%。
    这令人鼓舞，因为它表明，即使是较小的模型，也确实可以通过有针对性的训练，学会体感推理所需的基础技能。

• 多智能体任务的收效甚微：
  然而，当目光转向多智能体任务时，改进却微乎其微。

  • 显式协作任务仅从8.5%提升至22.5%。

  • 隐式协作任务从1.5%勉强改善至5.5%。

  • 复合协作任务几乎没有变化，从0.5%仅上升至1.0%。

这种冰火两重天的巨大差异，揭示了一个残酷的真相：协作推理，尤其是需要自主判断的隐式协作，涉及的不仅仅是学习更好的行为模式，而是需要模型具备某种根本性的、无法通过模仿学习获得的架构能力。

进一步的分析显示，模型只是学会了**“模仿”专家的单智能体决策序列，但完全没有“内化”**产生这些决策背后的底层推理过程。它无法泛化到那些需要自主评估物理约束和协作需求的全新场景中。

这就像教一个孩子背诵钢琴曲的指法，他可以通过大量练习弹得非常熟练，甚至分毫不差。但是，他并没有理解乐理、和声和旋律。因此，你让他弹一首新曲子，或者自己即兴创作一段，他便无能为力。这个微调实验有力地证明，当前AI在协作问题上的失败，根源在于架构，而非数据。

🚀 七、对未来AI发展的深刻启示

浙江大学团队的这项研究，其意义远不止于发布了一个新的基准测试。它像一位严厉的导师，指出了当前AI发展道路上的关键误区，并为未来的研究提供了清晰而深刻的指引。

7.1 体感推理需要全新的计算机制

研究结果强烈表明，体感推理与我们熟知的抽象符号推理，需要根本不同的计算机制。当前的Transformer架构，本质上是一个为处理离散、符号化的语言数据而设计的“序列处理大师”。它在符号操作上表现优异，但天生缺乏将这些抽象符号“锚定”到连续、多模态的物理属性上所需的专门化组件。强迫它去理解重量、温度和材质，就像试图用大脑中处理语言的布罗卡区去理解一幅画的色彩和构图，工具从根本上就不匹配任务。

7.2 注意力机制的“约束选择”失效

“信息过载效应”揭示了当前注意力机制的另一个根本局限。在抽象推理任务（如解数学题）中，题目中提供的所有信息通常都是解决问题所必需的。然而，在体感场景中，环境中绝大多数信息都是“背景噪音”。一个智能体需要具备动态过滤和选择在特定时间、特定空间内与之相关的物理约束的能力。当前的全局注意力机制，显然无法有效处理这种高度稀疏和动态的约束选择问题。

7.3 规模之外的“认知瓶颈”

研究中反复出现的70亿参数阈值现象，以及在复杂推理上性能提升的停滞，表明体感推理可能存在一个“认知瓶颈”。这或许与模型需要同时跟踪和维持环境状态、自身能力、工具属性、同伴状态等多个复杂信息流的“工作记忆”容量有关。这种计算瓶颈在纯语言任务中并不突出，但在需要与物理世界进行实时、多维交互的体感任务中，则成为了性能的主要限制因素。

7.4 超越语言建模的范式革命

从更深层次来看，问题可能出在我们的训练范式本身。当前几乎所有的大模型，其最终的训练目标都是为了优化“语言建模”（预测下一个词）。语言是离散的、符号的，而物理世界是连续的、多模态的。这种源于训练目标的根本性不匹配，可能才是导致所有问题的总根源。要解决这个问题，或许需要一场范式革命，开发出为物理交互而生的全新训练目标和架构。

研究团队建议，未来的体感AI系统可能需要走向混合架构，即结合符号推理（用于高级规划）和连续控制（用于底层操作）的系统。这样的系统应该具备：

• 专门化的物理推理模块：用于处理连续物理属性的映射和比较。

• 动态的、任务驱动的注意力机制：用于从嘈杂的环境中高效过滤出相关约束。

• 支持多智能体状态建模的架构元素：用于更好地理解和预测其他智能体的意图和行为。

总结

归根结底，浙江大学团队的这项研究为我们描绘了一幅更加清醒、更加现实的AI发展图景。它告诉我们，尽管大语言模型在无数数字任务上取得了辉煌的成就，但它们距离真正理解和娴熟操作我们所生活的这个物理世界，还有一条漫长而崎岖的道路要走。OmniEAR框架的价值，不仅在于提供了一把衡量这种差距的精准“标尺”，更重要的是，它像一张详细的地图，为未来的研究者们标出了需要攻克的具体堡垒和需要避开的陷阱。

对于我们普通人而言，这项研究的启示是，我们需要重新校准对AI能力的期望。在可预见的未来，AI更适合的角色是作为人类的强大助手和高效工具，而不是一个能够完全自主在物理世界中行动的代理。这也意味着，在AI系统的设计和部署中，我们应更加重视人机协作的模式，充分利用人类在体感推理、常识判断和社交协作方面与生俱来的、难以被替代的优势。

最终，这项研究提醒我们，智能的本质远比我们想象的更加复杂和多面。体感智能，并非抽象智能的简单延伸，而是一个需要全新理论、全新框架和全新技术方法来应对的独特而深刻的挑战。浙大团队的工作，为这个至关重要的研究领域奠定了一块坚实的基石。我们有理由相信，它将激发更多颠覆性的创新研究，推动AI技术朝着更实用、更可靠、也更安全的未来迈进。

📢💻 【省心锐评】

别再迷信“大力出奇迹”了。OmniEAR撕开了物理世界的遮羞布，AI的“体感智商”亟待架构级创新，否则再大的模型也只是个会说话的“理论派巨人”。