机器人盯着桌子愣住了，这事能怪它吗

你有没有过这样的经历：朋友跟你说"把我刚放的那个东西递给我"，你低头一看桌上七八件东西，心里犯了嘀咕，到底哪个是"刚放的"？

这事对人来说不难，脑子里快速回放一下刚才发生的场景就知道了。但对机器人来说，这几乎是个灾难级的难题。

2026年有一篇论文做了个挺扎心的实验。他们让一个叫VoLo的智能体系统去理解一句话："捡起最后被移动的那个物体。" VoLo很聪明，它用视觉语言模型准确判断出目标是哪个罐子，然后把这个描述丢给下游的抓取模型去执行。结果呢？抓取失败了。不是因为识别错了，而是因为那个罐子这时候已经被挡住了，摄像头压根看不见它。

(资料图)

VoLo知道"是什么"，但不知道"在哪"。这就好比你让导航软件告诉你朋友家的门牌号，软件说得很准，但你开车过去才发现那条路正在施工封路，软件根本没提这事。知道目标和能找到目标，是两件完全不同的事。

这篇论文的研究者们盯上的就是这个缺口。他们给这类任务起了个名字，叫事件指代型抓取。

**事件指代型抓取**：指机器人需要根据物体在过去某个事件中扮演的角色（而不是外观、名称）来确定抓取目标，并且该目标在当前画面中可能已经不可见。

为什么现在的机器人都答不上这道题

先说说这道题到底难在哪。

市面上做语言引导抓取的方法，不管是LERF-TOGO、GraspSplats，还是更新的GraspMolmo、Point2Act，核心逻辑都是：给我一张图，给我一句话描述（比如"拿起红色的杯子"），我在图里把这个东西找出来。这套逻辑在物体一直摆在那儿、名字说得清楚的情况下工作得很好。

但事件指代型指令完全不是这个套路。"拿起我刚用过的那个"，这句话里压根没有外观信息，你得先搞清楚"我刚用过的"是哪个事件，这个事件涉及了哪个物体，然后才能开始找。更麻烦的是，这个物体很可能在找到答案之前，就已经被挪到了看不见的地方。

研究团队测试了几种代表性方法在原始指令下的表现，数据挺直观：LERF-TOGO在所有150次试验里抓取成功率是0%，Point2Act是9.3%，GraspSplats是0%，哪怕是用RGB-D重建的Point2Act加强版，也只有22.7%。即便研究者好心地把指令预先用大模型转写成更明确的描述（比如把"刚用过的"翻译成"桌上的红色杯子"），最强的基线方法也只能冲到50.0%。

而论文提出的系统BeyondCSe，达到了76.7%。

这中间差了26.7个百分点，意味着什么？意味着每4次抓取任务，对手方法就要比BeyondCSe多失败超过1次。在实际场景里，这种差距足够让一个"看起来能用"的系统变成一个"没法交付"的系统。

**BeyondCSe**：论文提出的零样本事件指代抓取系统，不需要任何针对性训练，依靠现成的多模态大模型和点追踪器完成从事件理解到抓取执行的全流程。

那这个系统到底是怎么做到的？拆开看，其实是两件事在配合：先搞清楚"要抓什么"，再搞清楚"去哪儿找"。

第一步：把一段录像变成一句能用的描述

BeyondCSe的第一个模块叫视频推理，干的事情说白了就是看录像、理事件、找目标。

这个模块拆成四个阶段，一步接一步往下走。第一阶段叫RECORD，它只看视频，不看指令，把整段录像梳理成一串按时间排列的事件记录，每个事件记录了一个动作、这个动作涉及的物体、以及可能牵连的另一个物体。这个阶段故意不告诉它用户想要什么，就是先把"发生了什么"客观记下来。

第二阶段叫SELECT，这时候才把用户的指令拿出来，让模型结合事件记录和指令，输出两样东西：目标物体长什么样（外观描述），以及这个目标和哪个事件相关（线索描述）。

第三阶段叫LOCATE，用线索描述去当前画面里框出一个大致区域。第四阶段叫POINT，在这个框出来的小区域里精确指出要抓的那个点。

**MLLM**：多模态大语言模型，能同时理解图像和文字的大模型，这里负责理解视频内容、生成目标描述、在图像中定点。

为什么要先框一个区域再精确定点，而不是直接让模型在整张图里一步找到答案？论文里有个很直观的例子：如果直接让模型在整张图里找一个"花茎"这种小部件，模型很容易找错，甚至压根找不到。但如果先把花所在的区域框出来，放大了看，模型一下子就能精确点到花茎上。论文的实验也验证了这点，直接定点和全图定点都失败的案例，裁剪后定点就成功了。

这就像你在一张合照里找一个人脖子上挂的小吊坠。如果直接盯着整张照片找，吊坠太小了，根本看不清楚细节，很容易认错。但如果你先圈出那个人的上半身，放大看，吊坠的轮廓和质感立刻就清楚了。如果没有这一步放大操作，模型对小物体、物体部件的定位准确率会明显下滑，论文的消融实验里也体现出了这种差距。

那如果目标在当前画面里完全找不到呢？这时候系统会往回翻历史画面，从最近的往更早的方向搜索，用点追踪器把候选轨迹跟踪下来，排除那些到视频结束时仍然可见的轨迹（因为那种物体根本不算"消失"），剩下的候选再逐个核对外观是否匹配，第一个通过核对的就被选中。然后把这条轨迹里带有效深度信息的采样点，统一换算到机器人坐标系下，形成一组历史三维观测点，这组点后面会派上大用场。

第二步：没看见目标就瞎找吗？不是,得先猜

如果目标确实不在当前画面里，接下来要解决的问题就是：机器人该把摄像头移到哪儿去看。

这是整篇论文里最有技术含量的部分，叫事件条件主动感知。

**主动感知**：指机器人不是被动接受一张固定图像，而是主动决定下一步该把摄像头移动到哪个位置去获取新信息。

传统的主动感知方法，判断"该往哪看"主要靠当前画面里能看到的几何信息、物体和遮挡物的关系，或者抓取成功率模型给出的不确定性。但这些方法有个共同的盲区：它们都只盯着"现在的场景"，对于一个被人挪走了、藏起来了的物体，当前场景里几乎没留下线索。

BeyondCSe换了个思路，它去问历史：这个物体最后一次被看到的时候，是往哪个方向移动的？

具体做法是，系统拿到前面提到的那组历史三维观测点之后，用一条分段直线把这些点连起来，当作目标物体移动的轨迹。然后重点看这条轨迹最后一段（论文里设定取整条轨迹长度的一半），分析这一段的走向和分布，由此构造出一个概率分布，这个分布以物体最后被看到的位置为中心，形状则由轨迹末段的走向决定。

**TSDF**：截断符号距离函数，一种用来表示三维空间中物体表面几何形状的数据结构，机器人用它构建对周围环境的几何地图。

这里有个很巧妙的设计。这个概率分布不是百分之百确信物体就在那附近，它留了一小部分概率均匀撒在整个可搜索空间里。为什么要留这个余量？因为历史推断可能是错的，万一物体的实际去向跟轨迹预测的完全不一样，系统不能把所有希望都押在一个错误的猜测上，必须留一条后路。

这就像你出门找一只跑掉的猫。你看到猫最后往小区花园那个方向跑了,大概率它还在花园附近,你会先重点搜花园。但你不会把其他方向彻底排除,因为猫完全可能绕了一圈跑去别的地方。如果你把全部搜索精力都砸在花园,一旦猜错方向,代价就是彻底找不到猫。这个"留一点概率给全空间"的设计,本质上就是给系统留一条反悔的余地。

有了这个初始的"信念分布"之后，系统还要决定具体往哪个角度移动摄像头。它会在高概率区域周围生成一批候选视角，先刷掉那些机械臂够不到、会撞到自己或场景的角度，剩下的每个候选视角都要算一个分数。

这个打分逻辑挺有意思。系统会模拟一下：如果从这个角度拍一张照片，会给目标存在的各个可能位置带来多大的信息增量。但这里有个陷阱得避开：有些候选视角看起来视野很开阔，但那片开阔区域其实是从未被观测过的空白地带，用这种空白地带来证明"这里没有目标"是不靠谱的，因为你根本没看清楚那里有没有东西。

论文设计了一个叫透射率的衰减机制来解决这个问题，灵感来自NeRF（一种三维场景渲染技术）里的体积透射率概念。简单说就是：如果一条视线要穿过很长一段从未被观测过的未知空间才能到达目标可能的位置，这条视线提供的信息要打折扣，打折扣的幅度跟穿过的未知距离成正比。

**NeRF**：神经辐射场，一种用神经网络表示三维场景、能从任意角度渲染出逼真图像的技术，这里只借用了它衡量光线穿透置信度的思路，没有真的训练一个辐射场网络。

这个设计的意义在哪？假设没有这层衰减，机器人会把"视野开阔但其实什么都没探明"的角度，错当成"信息量很大"的好角度，结果去了那儿还是一无所获，白跑一趟。有了衰减机制，这种虚假的开阔感会被打折，机器人更倾向于选择那些真正能照亮未知区域、确认目标是否在那里的角度。

打完分，机器人执行得分最高且确实能走到的那个视角，拍一张新照片回来，用这张照片更新地图和信念分布。这个更新过程用的是贝叶斯方法，新证据不断修正旧的猜测，一直循环，直到找到目标，或者用完了允许尝试的视角次数。

**贝叶斯更新**：一种根据新证据不断修正概率估计的统计方法，这里指机器人每拍一张新照片，就根据这张照片提供的信息，重新调整"目标在哪"的概率地图。

实测结果：差距不是一点点

论文团队用一台搭载腕部RGB-D相机的机器人做了真实世界实验，总共150次试验，分为目标初始可见和目标被遮挡两种情况。

| 方法 | 原始指令抓取成功率 | 转写指令抓取成功率 |

| LERF-TOGO | 0.0% | 18.7% |

| Point2Act | 9.3% | 19.3% |

| GraspSplats | 0.0% | 34.7% |

| Point2Act（RGB-D重建版） | 22.7% | 50.0% |

| **BeyondCSe** | **76.7%** | **76.7%** |

从数据能看出一个挺有意思的现象：给其他方法的指令稍微"翻译"一下，让它变得更贴近当前场景的描述方式，所有基线方法的表现都明显提升了。但即便这样，表现最好的那个也只到50.0%，离BeyondCSe还差26.7个百分点。这说明光是把指令说清楚还不够，核心瓶颈在于后续的空间搜索能力。

分开来看，目标可见的情况下，BeyondCSe在50次试验里成功定位43次，抓取成功38次；目标被遮挡的情况下，100次试验里定位成功88次，抓取成功77次。被遮挡这种更难的情况，BeyondCSe反而没有比可见情况表现差太多，说明主动感知模块确实在真正解决问题，而不是靠运气。

论文还单独测试了四个遮挡特别严重的场景，目标被完全藏进篮子或者藏在其他物体后面，连固定的俯视视角都看不见。这组实验用来对比另一个主动视角规划方法（Breyer等人提出的）。要注意的是，对手方法得到了一个作弊式的优待：研究者直接给了它目标物体的真实三维边界框，相当于告诉它"东西肯定在这个范围里"。而BeyondCSe没有任何这种外部提示，完全靠自己从历史和当前几何信息里推断。

| 方法 | 平均所需视角数 | 抓取成功率 |

| Breyer等人（有真实边界框） | 3.35 | 75% |

| BeyondCSe去掉信念权重 | 4.65 | 80% |

| BeyondCSe去掉透射率衰减 | 3.10 | 90% |

| BeyondCSe去掉历史先验 | 4.00 | 95% |

| **BeyondCSe完整版** | **2.20** | **95%** |

这组消融实验挺值得细读。去掉信念权重（也就是让系统平等对待所有还没排除的可能位置，不区分哪些更可能）之后，平均需要的视角数飙升到4.65，是所有变体里最差的，说明如果不分主次地瞎找，会在不太可能的区域浪费大量视角。去掉透射率衰减之后，平均视角数也上升到3.10，其中一个场景甚至需要5.2个视角，印证了"把未知空间误判成已探明空间"确实会误导搜索方向。

最有意思的是去掉历史先验这一项。它的抓取成功率（95%）其实和完整版打平了，但平均视角数从2.20猛增到4.00，几乎翻了一倍。这说明历史先验这个东西，主要价值不在于"能不能最终找到"，而在于"能不能更快找到"。

这就像找钥匙。如果你记得自己最后一次用钥匙是在厨房,你直接去厨房翻一遍,很快就能找到。如果完全不管这个记忆,把客厅卧室厨房挨个翻一遍,最终肯定也能找到,但要花掉双倍的时间和耐心。对机器人来说,"双倍视角数"直接等于双倍的移动时间和能耗,在真实部署场景里,这笔账是省不掉的。

论文还给了一张直观的对比图，展示两种方法在同一个遮挡场景里的搜索路径。BeyondCSe只多拍了一张照片就直接揪出了目标，而对比方法则在场景里转了好几个角度才找到。即便对比方法手里拿着那个"作弊"用的真实边界框，依然跑得比BeyondCSe慢。这个细节挺能说明问题：知道目标大概在哪个框里，和知道目标更可能具体在框里的哪个角落，是两种不同程度的信息，后者才是真正省时间的关键。

这套方法走出实验室厨房会怎样

为了验证这个视频推理模块不是只能在特定的实验室桌面场景里work，研究团队还把同一套流程，不做任何针对数据集的提示词调整，直接搬到了两个公开的第一人称视角视频数据集上测试，分别是EgoDex和EPIC-KITCHENS。

在EgoDex的例子里，指令是"拿起最先放到盘子上的那个"，系统准确从事件记录里挑出了"放红色水果"这个动作，并最终在最后一帧画面里精确指出了红色水果的位置。

在EPIC-KITCHENS的例子里，指令是"拿起第二个被洗的那个"，系统记录到洗西葫芦、洗胡萝卜的先后顺序，正确选出了胡萝卜。有意思的是，这个场景里摄像头视角变化很大，LOCATE那一步给出的候选区域其实不太准，但POINT这一步在稍微放大一些的范围里，还是把胡萝卜精确定位出来了。

这个细节暴露了系统的一个真实弱点：前面框区域这一步并不是百分百可靠的，它偶尔会框错。好在后面的精确定点这一步有一定的容错能力，能在框得不太准的情况下依然把目标找出来。但这也提醒我们，这套流程里每一环都不是完美无缺的，整体表现靠的是各环节容错能力叠加起来的鲁棒性，不是哪一步单独做到了完美。

这个系统现在还做不到的事

论文自己也坦白了一个核心假设的局限：整套主动感知的数学推导，都建立在目标物体在搜索过程中保持静止这个前提上。也就是说，机器人在到处找这个物体的那段时间里，这个物体不能自己又被挪动了。

如果目标在搜索过程中还在持续移动，比如旁边有人又把它挪了个地方，现有的信念更新机制就不适用了，因为它没有建模物体的运动过程，只是单纯根据历史轨迹猜一个静止位置。论文把这个列为未来要解决的问题。

写在后面

这篇论文最打动我的地方，其实不是它的抓取成功率数字有多高，而是它把一个看似"模型能力"的问题，拆解成了"认知架构"的问题。

过去很多工作想解决"机器人认不出遮挡物体"这个难题，思路往往是堆更大的模型、喂更多数据，指望模型自己学出一种隐式的记忆能力。而这篇论文走的是另一条路，它压根没训练任何新模型，用的全是现成的大模型和点追踪器，但通过把"看视频理解事件"和"主动移动摄像头搜索"这两件事拆开、再用一套概率框架串起来，就做出了明显超越专门训练模型的效果。这多少说明，有些问题的瓶颈不在于模型不够聪明，而在于系统架构里缺了一环把过去和现在连接起来的机制。

还有个细节我反复想了很久：那个"留一小部分概率给整个空间"的设计。这其实是在数学上承认了自己的推断可能是错的，并且提前为这种错误准备好了退路。这种"主动承认不确定性"的设计思路，好像比一味追求"更准的预测"更稳健。放到别的系统设计场景里，这个思路可能也值得借鉴：与其拼命让一个判断变得更自信，不如给判断失误留一条明确的恢复路径。

那如果以后机器人要应对的不是一个静止的、被人挪走的杯子，而是一个会自己挪动、甚至会躲避摄像头的东西呢？到那个时候，猜测目标在哪，可能就不再是看一段历史轨迹这么简单的事了。

Q&A

Q1：BeyondCSe系统是什么？

A：BeyondCSe是一个零样本事件指代抓取系统，机器人能根据物体在过去事件中扮演的角色（比如"最后被移动的那个"）来识别并抓取目标，即使目标当前被遮挡看不见，也能通过历史轨迹推断加主动视角搜索找到它，整个过程不需要额外训练。

Q2：BeyondCSe的抓取成功率比其他方法高多少？

A：在150次真实机器人试验中，BeyondCSe的整体抓取成功率达到76.7%，而对比的最强基线方法（使用转写后指令的Point2Act增强版）只有50.0%，差了26.7个百分点，意味着每4次任务对手就要多失败超过1次。

Q3：BeyondCSe的事件先验具体有什么用？

A：事件先验是从物体过去移动轨迹推断出的空间线索，用来初始化机器人搜索时的概率信念。消融实验显示，去掉事件先验后抓取成功率不变（95%），但平均所需视角数从2.20猛增到4.00，说明它的核心价值是大幅缩短搜索时间，而非提升最终成功率。

标签： 轨迹 机器人 神经网络