設(shè)想這樣一個(gè)場(chǎng)景：你打電話(huà)讓同事去辦公室某個(gè)地方拿東西，僅憑語(yǔ)言描述位置是多么困難。在辦公室里，從一堆已經(jīng)喝過(guò)的礦泉水瓶中，讓對(duì)面同學(xué)遞過(guò)來(lái)你之前喝過(guò)的那個(gè)，只用語(yǔ)言幾乎無(wú)法準(zhǔn)確描述——「左邊第二個(gè)」？「有點(diǎn)舊的那個(gè)」？這時(shí)候，人們更傾向于用手指一下，或者拿出圖片來(lái)指代。

這揭示了一個(gè)根本問(wèn)題：人類(lèi)在面對(duì)面交流時(shí)，會(huì)自然地通過(guò)手勢(shì)、指點(diǎn)來(lái)完成對(duì)物體或位置的定位（grounding），而不是依賴(lài)復(fù)雜的文本描述。即使對(duì)于人類(lèi)這樣強(qiáng)大的多模態(tài)大腦，純語(yǔ)言指令也存在歧義，難以準(zhǔn)確傳達(dá)空間信息。在雜亂場(chǎng)景、相似物體眾多的環(huán)境中，語(yǔ)言描述往往力不從心。

同理，當(dāng)我們只用語(yǔ)言給視覺(jué)-語(yǔ)言-動(dòng)作（Vision-Language-Action，VLA）模型下達(dá)指令時(shí)，就如同讓人在電話(huà)里描述復(fù)雜場(chǎng)景，面臨兩個(gè)根本性困境：

第一，語(yǔ)言在某些場(chǎng)景下根本無(wú)法精確表達(dá)。比如在無(wú)參考點(diǎn)的桌面上精確放置物體——「把杯子放在距離左邊緣 15 cm、前方 10 cm 的位置」，這種絕對(duì)坐標(biāo)式的描述既不自然又難以準(zhǔn)確傳達(dá)。再比如雜亂場(chǎng)景中的特定目標(biāo)，或者形狀不規(guī)則的物體，語(yǔ)言的表達(dá)能力觸及了邊界。

第二，即使可以用復(fù)雜詳細(xì)的語(yǔ)言描述，VLA 模型也難以泛化理解。研究發(fā)現(xiàn)，雖然先進(jìn)的視覺(jué)-語(yǔ)言模型（VLM）能以 60-70% 的準(zhǔn)確率定位復(fù)雜描述的目標(biāo)，但 text-only VLA 在執(zhí)行時(shí)的成功率卻只有 25% 左右。復(fù)雜的空間關(guān)系描述超出了 VLA 模型的泛化能力范圍。

千尋智能高陽(yáng)團(tuán)隊(duì)的研究人員注意到這兩個(gè)根本性瓶頸，在最新論文《Point What You Mean: Visually Grounded Instruction Policy》中提出了 Point-VLA 方法。該方法通過(guò)在圖像上疊加邊界框（bounding box）提供明確的視覺(jué)定位線(xiàn)索，讓機(jī)器人能像人一樣「看著圖、指著點(diǎn)」來(lái)理解指令，在真實(shí)機(jī)器人操作任務(wù)中實(shí)現(xiàn)了高達(dá) 92.5% 的成功率，相比純文本 VLA 的 32.4% 提升了近 3 倍。

• 論文標(biāo)題：Point What You Mean: Visually Grounded Instruction Policy
• 論文鏈接：https://arxiv.org/pdf/2512.18933
• 項(xiàng)目主頁(yè)：https://yuhang-harry.github.io/Point-VLA

圖 1：Point-VLA 通過(guò)在圖像上疊加邊界框，解決了雜亂場(chǎng)景抓取、OOD 物體操作、無(wú)參考點(diǎn)精確放置等語(yǔ)言指令難以勝任的任務(wù)

語(yǔ)言的邊界：VLA 模型面臨的根本挑戰(zhàn)

視覺(jué)-語(yǔ)言-動(dòng)作（VLA）模型近年來(lái)在具身智能領(lǐng)域取得了顯著進(jìn)展，能夠?qū)⒆匀徽Z(yǔ)言指令直接轉(zhuǎn)化為機(jī)器人動(dòng)作。然而，研究團(tuán)隊(duì)發(fā)現(xiàn)，VLA 模型仍然受制于語(yǔ)言本身的固有局限性。

兩大核心問(wèn)題：

1. 語(yǔ)言無(wú)法表達(dá)的場(chǎng)景（Inexpressible References）

在真實(shí)世界中，有些場(chǎng)景語(yǔ)言根本無(wú)法精確描述，無(wú)論你怎么努力：

• 無(wú)參考點(diǎn)的精確位置：「把杯子放在桌面上距離左邊緣 15 cm、前方 10 cm 的位置」——這種絕對(duì)坐標(biāo)式的描述，語(yǔ)言表達(dá)起來(lái)既不自然又容易出錯(cuò)。
• 不規(guī)則 / 無(wú)定形物體：一個(gè)形狀復(fù)雜、紋理獨(dú)特的陶土塊，用語(yǔ)言描述「紅藍(lán)條紋、頂部方形底部圓形」仍然模糊不清。
• 雜亂場(chǎng)景中的特定目標(biāo)：在八個(gè)相同瓶子的桌面上，即使你說(shuō)「右側(cè)第二排中間偏左的那個(gè)」，聽(tīng)者依然難以確定。

這些場(chǎng)景的共同特點(diǎn)是：語(yǔ)言的表達(dá)能力觸及了邊界。而人類(lèi)在這種情況下會(huì)自然地用手指一下，或者拿出圖片指給對(duì)方看。

2. 復(fù)雜描述的泛化困境（Limited Generalization）

即使在某些場(chǎng)景下，我們可以通過(guò)非常詳細(xì)、復(fù)雜的語(yǔ)言描述來(lái)補(bǔ)全信息，但這又帶來(lái)了新的問(wèn)題：VLA 模型難以泛化理解這些復(fù)雜的空間描述。

研究團(tuán)隊(duì)的實(shí)驗(yàn)揭示了一個(gè)令人驚訝的現(xiàn)象：

• 先進(jìn)的 VLM（如 GPT-4V）在面對(duì)詳細(xì)的文本描述時(shí)，能夠以 60-70% 的準(zhǔn)確率定位目標(biāo)。
• 但 text-only VLA 在相同場(chǎng)景下的操作成功率卻只有 25% 左右。

這說(shuō)明，即使 VLM「看懂」了復(fù)雜的語(yǔ)言描述，VLA 模型在將其轉(zhuǎn)化為精確動(dòng)作時(shí)仍然力不從心。復(fù)雜的空間關(guān)系描述超出了 VLA 模型的泛化能力范圍，導(dǎo)致在雜亂場(chǎng)景、OOD 物體、精確放置等任務(wù)中表現(xiàn)急劇下降。這兩個(gè)問(wèn)題共同構(gòu)成了 VLA 模型在真實(shí)世界部署的根本瓶頸。

圖 2：VLM 能以 60-70% 準(zhǔn)確率定位復(fù)雜文本描述的目標(biāo)（左兩例），但 text-only VLA 執(zhí)行成功率僅 25%，揭示了語(yǔ)言-動(dòng)作對(duì)齊的鴻溝。右側(cè)展示了語(yǔ)言根本無(wú)法描述的場(chǎng)景（無(wú)參考點(diǎn)平面），Point-VLA 通過(guò)視覺(jué)定位解決了這兩類(lèi)問(wèn)題

Point-VLA：像人一樣「指著說(shuō)」

為了突破語(yǔ)言的固有局限，千尋智能高陽(yáng)團(tuán)隊(duì)提出了 Point-VLA 方法，其核心思想簡(jiǎn)單而有效：既然語(yǔ)言無(wú)法精確表達(dá)，那就像人類(lèi)一樣，用「指」的方式來(lái)明確目標(biāo)。

視覺(jué)定位指令（Visually Grounded Instruction）

Point-VLA 的關(guān)鍵創(chuàng)新在于引入了視覺(jué)定位指令。具體而言，系統(tǒng)在機(jī)器人觀察到的第一幀圖像上疊加一個(gè)邊界框（bounding box），明確標(biāo)注出目標(biāo)物體或位置。這個(gè)邊界框就像人類(lèi)用手指指向目標(biāo)一樣，提供了明確的像素級(jí)空間線(xiàn)索。

例如，對(duì)于「拿起瓶子」這個(gè)指令：

• 純文本模式：「Pick up the bottle to the right of the leftmost bottles, in the middle of the desk」（信息完整但過(guò)于復(fù)雜，VLA 難以準(zhǔn)確執(zhí)行）
• Point-VLA 模式：「Pick up」+ 圖像上的紅色邊界框（信息完整且簡(jiǎn)單直接）

這種方式將高層意圖（pick up, place）保留在語(yǔ)言中，而將精確的空間信息（哪個(gè)物體、什么位置）編碼在視覺(jué)線(xiàn)索中，完美結(jié)合了語(yǔ)言的抽象性和視覺(jué)的精確性。

圖 3：Point-VLA 推理流程——用戶(hù)通過(guò) GUI 在俯視圖上繪制邊界框，或通過(guò)手勢(shì)由 MLLM 自動(dòng)生成邊界框，結(jié)合簡(jiǎn)短文本指令，機(jī)器人即可精確執(zhí)行操作

統(tǒng)一的策略架構(gòu)

Point-VLA 采用統(tǒng)一的策略架構(gòu)，能夠同時(shí)處理純文本指令和視覺(jué)定位指令。在訓(xùn)練時(shí)，模型以 1:1 的比例接收兩種模態(tài)的數(shù)據(jù)：

• 純文本指令：保持模型對(duì)常規(guī)語(yǔ)言指令的理解能力。
• 視覺(jué)定位指令：學(xué)習(xí)利用像素級(jí)視覺(jué)線(xiàn)索進(jìn)行精確操作。

這種聯(lián)合訓(xùn)練策略使得 Point-VLA 既能處理簡(jiǎn)單的語(yǔ)言指令（如「向前移動(dòng)」），也能在需要時(shí)接受視覺(jué)定位來(lái)完成復(fù)雜任務(wù)，實(shí)現(xiàn)了靈活的「即插即用」能力。

視頻展示 Point-VLA 在真實(shí)機(jī)器人上的操作效果，包括雜亂場(chǎng)景抓取、精確放置等任務(wù)

可擴(kuò)展的自動(dòng)數(shù)據(jù)標(biāo)注 Pipeline

視覺(jué)定位指令需要為每個(gè)演示標(biāo)注邊界框，這可能帶來(lái)數(shù)據(jù)標(biāo)注成本的挑戰(zhàn)。千尋智能團(tuán)隊(duì)開(kāi)發(fā)了一套自動(dòng)數(shù)據(jù)標(biāo)注 Pipeline，利用多模態(tài)大語(yǔ)言模型（MLLM）自動(dòng)生成視覺(jué)定位監(jiān)督信號(hào)。

Pipeline 的工作流程很直接：給定一段演示視頻和文本指令，MLLM 分析視頻內(nèi)容，自動(dòng)識(shí)別關(guān)鍵幀并在第一幀上標(biāo)注目標(biāo)物體的邊界框。為了提升模型的泛化能力，研究團(tuán)隊(duì)還設(shè)計(jì)了兩種數(shù)據(jù)增強(qiáng)策略——隨機(jī)平移和局部 CutMix。隨機(jī)平移鼓勵(lì)模型關(guān)注目標(biāo)的相對(duì)位置而非絕對(duì)坐標(biāo)，局部 CutMix 則防止模型過(guò)擬合特定物體的視覺(jué)特征。

這套 Pipeline 使得研究團(tuán)隊(duì)能夠從現(xiàn)有的演示數(shù)據(jù)中高效生成大量視覺(jué)定位監(jiān)督信號(hào)，無(wú)需額外的人工標(biāo)注成本，支持無(wú)縫的數(shù)據(jù)集成和擴(kuò)展。

圖 4：Point-VLA 訓(xùn)練流程——MLLM 自動(dòng)從演示視頻中生成邊界框標(biāo)注，結(jié)合隨機(jī)平移和 CutMix 增強(qiáng)，與純文本數(shù)據(jù)聯(lián)合訓(xùn)練統(tǒng)一策略

實(shí)驗(yàn)驗(yàn)證：從 32.4% 到 92.5% 的跨越

千尋智能團(tuán)隊(duì)在真實(shí)機(jī)器人平臺(tái)上進(jìn)行了全面的實(shí)驗(yàn)驗(yàn)證，涵蓋 6 個(gè)具有挑戰(zhàn)性的操作任務(wù)，包括不規(guī)則物體抓取、OOD 物體抓取、雜亂場(chǎng)景抓取、蛋槽精確放置、平面精確放置和蛋槽精確插入。實(shí)驗(yàn)結(jié)果令人振奮：Point-VLA 在所有任務(wù)上的平均成功率達(dá)到 92.5%，相比純文本 VLA 的 32.4% 提升了近 3 倍

在最具挑戰(zhàn)性的雜亂場(chǎng)景抓取任務(wù)中，Point-VLA 的成功率從 43.3% 提升到 94.3%，在精確放置任務(wù)中從 23.3% 提升到 90.0%。這些結(jié)果充分證明了視覺(jué)定位在消除歧義和實(shí)現(xiàn)精確操作方面的強(qiáng)大能力。

圖 5：6 個(gè)評(píng)估任務(wù)的真實(shí)機(jī)器人實(shí)驗(yàn)場(chǎng)景，涵蓋目標(biāo)物體指代（不規(guī)則物體、OOD 物體）和目標(biāo)位置指代（雜亂抓取、蛋槽、平面放置）等挑戰(zhàn)

表 1：六個(gè)真實(shí)機(jī)器人操作任務(wù)的成功率（%）對(duì)比，其中text-vla和interleave-vla均經(jīng)過(guò)與Point-vla同樣數(shù)據(jù)量，精細(xì)文本方位詞標(biāo)注訓(xùn)練至收斂，保證對(duì)比公平性，數(shù)據(jù)集信息見(jiàn)論文fig5

語(yǔ)言邊界場(chǎng)景的突破

研究團(tuán)隊(duì)特別設(shè)計(jì)了兩類(lèi)「語(yǔ)言邊界」場(chǎng)景來(lái)驗(yàn)證 Point-VLA 的能力：

• 場(chǎng)景 1：語(yǔ)言根本無(wú)法表達(dá)的任務(wù)

在無(wú)參考點(diǎn)的平面桌面上精確放置物體：「把杯子放在距離左邊緣 15 cm、前方 10 cm 的位置」。這種絕對(duì)坐標(biāo)式的描述，語(yǔ)言表達(dá)既不自然又難以準(zhǔn)確傳達(dá)。純文本 VLA 在這類(lèi)任務(wù)上的成功率僅 30%。

而 Point-VLA 通過(guò)在圖像上直接標(biāo)注目標(biāo)位置的邊界框，繞過(guò)了語(yǔ)言表達(dá)的邊界，成功率達(dá)到95%

• 場(chǎng)景 2：復(fù)雜描述難以泛化

在包含 8 個(gè)相同瓶子的雜亂桌面上，需要用「拿起右側(cè)、最左邊那排瓶子中間的那個(gè)」這樣復(fù)雜的描述。雖然 VLM 能以 60-70% 準(zhǔn)確率定位，但 text-only VLA 在執(zhí)行時(shí)成功率僅 43.3%——模型難以泛化理解如此復(fù)雜的空間關(guān)系描述。

Point-VLA 通過(guò)視覺(jué)定位提供明確的像素級(jí)線(xiàn)索，使模型無(wú)需理解復(fù)雜的語(yǔ)言描述就能準(zhǔn)確執(zhí)行，成功率提升到94.3%

此外，研究團(tuán)隊(duì)還在多個(gè)機(jī)器人平臺(tái)和 VLA 模型骨架上進(jìn)行了驗(yàn)證，包括 π0.5 和 π0 兩個(gè)不同的基礎(chǔ)模型，以及雙臂機(jī)器人和全身人形機(jī)器人。結(jié)果顯示 Point-VLA 在不同模型和硬件配置下均能保持高成功率，證明了其作為通用接口的可擴(kuò)展性。

在與純文本指令的兼容性測(cè)試中，Point-VLA 即使在純文本模式下（不使用視覺(jué)定位），也能匹配甚至超越純文本 VLA baseline。研究團(tuán)隊(duì)在三種空間指代任務(wù)上進(jìn)行了對(duì)比：相對(duì)位置指代、矩陣布局指代和基于參考的指代。結(jié)果顯示，Point-VLA 在純文本模式下的表現(xiàn)與 baseline 相當(dāng)或更好，而在使用視覺(jué)定位時(shí)則在復(fù)雜空間指代任務(wù)上取得最高成功率。這說(shuō)明視覺(jué)定位訓(xùn)練提升了模型對(duì)空間關(guān)系的理解能力，即使在不使用視覺(jué)定位時(shí)也能受益。

在數(shù)據(jù)擴(kuò)展性實(shí)驗(yàn)中，隨著訓(xùn)練數(shù)據(jù)量的增加，Point-VLA 的性能持續(xù)提升，而純文本 VLA 很快達(dá)到飽和。在 OOD 物體抓取任務(wù)中，當(dāng)訓(xùn)練數(shù)據(jù)從 3 個(gè)場(chǎng)景增加到 12 個(gè)場(chǎng)景時(shí)，Point-VLA 的準(zhǔn)確率從約 0.8 提升到 0.95，而純文本 VLA 在約 0.27 處就停止增長(zhǎng)，表明視覺(jué)定位提供的明確監(jiān)督信號(hào)使模型能夠更有效地從數(shù)據(jù)中學(xué)習(xí)。

圖 6：（上）Point-VLA 在三種指令模式下的成功率對(duì)比——即使在純文本模式下，Point-VLA 也能匹配或超越 baseline，使用視覺(jué)定位時(shí)在復(fù)雜空間指代上取得最高成功率。（下）隨訓(xùn)練數(shù)據(jù)增加，Point-VLA 性能持續(xù)提升，而純文本 VLA 很快飽和

技術(shù)意義與未來(lái)展望

Point-VLA 的提出具有重要的理論和實(shí)踐意義。首先，它揭示并解決了 VLA 領(lǐng)域的一個(gè)根本性問(wèn)題：語(yǔ)言本身的表達(dá)能力限制了模型的性能上限。通過(guò)引入視覺(jué)定位，Point-VLA 繞過(guò)了這一瓶頸，為 VLA 模型開(kāi)辟了新的發(fā)展路徑。

其次，自動(dòng)數(shù)據(jù)標(biāo)注 Pipeline 使得視覺(jué)定位監(jiān)督信號(hào)的獲取成本大幅降低，支持從現(xiàn)有演示數(shù)據(jù)中無(wú)縫生成訓(xùn)練數(shù)據(jù)，為大規(guī)模 VLA 模型的訓(xùn)練提供了可行的技術(shù)路線(xiàn)。

92.5% 的成功率使得 VLA 模型首次在復(fù)雜真實(shí)場(chǎng)景中達(dá)到了實(shí)用化的門(mén)檻。Point-VLA 展示的精確操作能力，為機(jī)器人在工業(yè)、服務(wù)等領(lǐng)域的實(shí)際應(yīng)用提供了技術(shù)基礎(chǔ)。更重要的是，Point-VLA 驗(yàn)證了「指著說(shuō)」這種人類(lèi)自然交互方式在人機(jī)交互中的有效性，啟發(fā)了未來(lái)具身智能系統(tǒng)在多模態(tài)交互方面的探索。

關(guān)于千尋智能 Spirit AI

千尋智能致力于推動(dòng)具身智能和機(jī)器人技術(shù)的發(fā)展，通過(guò)創(chuàng)新的 AI 算法使機(jī)器人能夠更好地理解和執(zhí)行人類(lèi)指令。高陽(yáng)團(tuán)隊(duì)專(zhuān)注于視覺(jué)-語(yǔ)言-動(dòng)作模型的研究，在多模態(tài)學(xué)習(xí)、機(jī)器人操作等領(lǐng)域取得了一系列突破性成果。