文章來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)（ID：aicvml）

最近，AI在空間感知和內(nèi)容生成方面的能力又有了新突破。來(lái)自新加坡南洋理工大學(xué)、商湯科技、密西根大學(xué)和馬普所的研究者們聯(lián)手，帶來(lái)了一個(gè)名為 Puffin 的統(tǒng)一多模態(tài)模型。它巧妙地將兩個(gè)看似獨(dú)立的任務(wù)——從圖像中理解相機(jī)參數(shù)（比如拍攝角度、焦距）和根據(jù)相機(jī)參數(shù)生成圖像——融合在了一起。這讓AI不僅能“看懂”一張照片是怎么拍的，還能化身“攝影師”，從任意指定的視角“拍”出新照片。

這篇論文的核心亮點(diǎn)在于提出了一種“用相機(jī)思考（Thinking with Camera）”的新范式。簡(jiǎn)單來(lái)說(shuō)，就是把原本冰冷的、數(shù)字化的相機(jī)參數(shù)（比如旋轉(zhuǎn)角度、視野大?。┓g成攝影師口中的“行話”（比如“荷蘭角傾斜”、“廣角鏡頭”、“低角度拍攝”）。這樣一來(lái)，大型語(yǔ)言模型就能更好地理解和推理這些空間信息，像一個(gè)經(jīng)驗(yàn)豐富的攝影師一樣思考，從而在理解和生成任務(wù)上都表現(xiàn)得更出色。

• 
  

  論文標(biāo)題 : Thinking with Camera: A Unified Multimodal Model for Camera-Centric Understanding and Generation

• 作者 : Kang Liao, Size Wu, Zhonghua Wu, Linyi Jin, Chao Wang, Yikai Wang, Fei Wang, Wei Li, Chen Change Loy

• 機(jī)構(gòu) : 新加坡南洋理工大學(xué)，商湯科技，密西根大學(xué)、Max-Planck Institute for Informatics

• 論文地址 : https://arxiv.org/abs/2510.08673

• 項(xiàng)目主頁(yè) : https://kangliao929.github.io/projects/puffin/

• 代碼倉(cāng)庫(kù) : https://github.com/kangliao929/puffin

背景：從“各自為戰(zhàn)”到“統(tǒng)一戰(zhàn)場(chǎng)”

在過(guò)去，AI處理與相機(jī)相關(guān)的問(wèn)題時(shí)，通常是“兵分兩路”。

一條路是 相機(jī)為中心的理解（Camera-Centric Understanding），比如計(jì)算機(jī)視覺(jué)里的相機(jī)姿態(tài)估計(jì)，它的任務(wù)是從一張給定的圖片中，反推出拍攝這張照片時(shí)相機(jī)的位置、朝向、焦距等參數(shù)。這對(duì)于三維重建、AR/VR等應(yīng)用至關(guān)重要。

另一條路是 相機(jī)為中心的生成（Camera-Centric Generation），比如計(jì)算機(jī)圖形學(xué)和AIGC里的可控圖像生成。我們給模型指定一個(gè)虛擬的相機(jī)位姿，讓它生成該視角下的圖像。這在電影特效、游戲場(chǎng)景生成、虛擬試衣等領(lǐng)域大有可為。

雖然這兩個(gè)任務(wù)都圍繞“相機(jī)”展開(kāi)，但它們就像一枚硬幣的兩面，長(zhǎng)期以來(lái)被分開(kāi)研究，各自發(fā)展。研究者們敏銳地意識(shí)到，如果能將兩者統(tǒng)一起來(lái)，不僅能讓模型的能力更全面，還能讓理解和生成任務(wù)相互促進(jìn)，實(shí)現(xiàn)“1+1>2”的效果。Puffin模型正是在這樣的背景下應(yīng)運(yùn)而生。

方法：“像語(yǔ)言一樣思考相機(jī)”

Puffin模型的核心思想是構(gòu)建一個(gè)統(tǒng)一的框架，能夠同時(shí)學(xué)習(xí)相機(jī)理解和生成任務(wù)。下面我們來(lái)看看它是如何實(shí)現(xiàn)的。

“用相機(jī)思考”范式

CV君認(rèn)為，這篇論文最有趣和最具啟發(fā)性的地方，就是這個(gè)“用相機(jī)思考”的范式。傳統(tǒng)方法通常直接處理數(shù)值化的相機(jī)參數(shù)，或者學(xué)習(xí)它們的幾何表示，但這些對(duì)于大型語(yǔ)言模型（LMM）來(lái)說(shuō)并不“友好”。

Puffin另辟蹊徑，它將相機(jī)參數(shù)與專業(yè)的攝影術(shù)語(yǔ)聯(lián)系起來(lái)。例如，它不直接處理-45°到45°的相機(jī)側(cè)傾角（Roll），而是將其映射為“荷蘭角（Dutch Angle）”；不直接處理視野（FoV），而是將其映射為“標(biāo)準(zhǔn)”、“廣角”、“長(zhǎng)焦”等術(shù)語(yǔ)。通過(guò)這種方式，模型在進(jìn)行相機(jī)參數(shù)預(yù)測(cè)時(shí)，實(shí)際上是在進(jìn)行一種空間推理：它會(huì)分析圖像中的視覺(jué)線索（比如地平線的傾斜、物體的透視關(guān)系），然后像人類一樣思考“嗯，這張圖看起來(lái)有點(diǎn)歪，應(yīng)該是用了荷蘭角拍攝”，最終在 標(biāo)簽中記錄推理過(guò)程，并在 標(biāo)簽中給出具體的參數(shù)預(yù)測(cè)。

這種方法巧妙地將LMM強(qiáng)大的語(yǔ)言推理能力引入到幾何問(wèn)題中，讓模型不僅知其然（預(yù)測(cè)出參數(shù)），更知其所以然（理解參數(shù)背后的視覺(jué)表現(xiàn)）。

Puffin-4M：大規(guī)模訓(xùn)練數(shù)據(jù)

為了訓(xùn)練Puffin這樣強(qiáng)大的模型，一個(gè)大規(guī)模、高質(zhì)量的數(shù)據(jù)集必不可少。為此，研究者們構(gòu)建了 Puffin-4M 數(shù)據(jù)集，它包含了 400萬(wàn)個(gè)“視覺(jué)-語(yǔ)言-相機(jī)”三元組。這個(gè)數(shù)據(jù)集覆蓋了各種場(chǎng)景和相機(jī)配置，為模型提供了豐富的學(xué)習(xí)素材。

數(shù)據(jù)集的構(gòu)建流程也很有意思，它結(jié)合了現(xiàn)有的多個(gè)360°全景數(shù)據(jù)集，通過(guò)渲染生成帶有精確相機(jī)參數(shù)的圖像，并利用大型語(yǔ)言模型自動(dòng)生成描述性文本和前文提到的“思考過(guò)程”文本。

與之前的數(shù)據(jù)集相比，Puffin-4M在規(guī)模、多樣性以及是否包含空間推理文本方面，都有著顯著優(yōu)勢(shì)。

統(tǒng)一的訓(xùn)練策略

Puffin在一個(gè)統(tǒng)一的框架中，混合了多種訓(xùn)練任務(wù)，包括相機(jī)參數(shù)理解、可控圖像生成、圖像描述等。通過(guò)精心設(shè)計(jì)的訓(xùn)練配方，模型在各項(xiàng)能力上都得到了充分的鍛煉。

實(shí)驗(yàn)效果：全面超越專用模型

是騾子是馬，拉出來(lái)遛遛。Puffin在相機(jī)理解和可控生成兩個(gè)核心任務(wù)上，都表現(xiàn)出了卓越的性能，甚至超越了許多為單一任務(wù)專門設(shè)計(jì)的模型。

相機(jī)理解能力

在MegaDepth、TartanAir等多個(gè)公開(kāi)基準(zhǔn)數(shù)據(jù)集上，Puffin在預(yù)測(cè)相機(jī)內(nèi)參（焦距）和外參（旋轉(zhuǎn)、平移）方面，其誤差都顯著低于之前的方法。這證明了“用相機(jī)思考”范式的有效性。

可控生成能力

在相機(jī)可控的圖像生成任務(wù)上，Puffin同樣表現(xiàn)出色。給定文本描述和目標(biāo)相機(jī)參數(shù)，它生成的圖像不僅內(nèi)容準(zhǔn)確，而且相機(jī)視角也控制得非常精準(zhǔn)。從下圖的誤差圖（Error Map）可以看出，Puffin生成的圖像在相機(jī)姿態(tài)上與目標(biāo)真值的偏差（Median Error）遠(yuǎn)小于其他多模態(tài)模型。

定量結(jié)果也證實(shí)了這一點(diǎn)，無(wú)論是在相機(jī)參數(shù)的直接對(duì)比還是在圖像相似度指標(biāo)上，Puffin都取得了最佳或次佳的成績(jī)。

下圖直觀地展示了Puffin生成的相機(jī)參數(shù)分布與真實(shí)值（Ground Truth）的分布高度吻合，而之前的方法則有較大偏差。

豐富的應(yīng)用潛力

得益于其統(tǒng)一的設(shè)計(jì)和強(qiáng)大的指令遵循能力，Puffin還能解鎖許多有趣的應(yīng)用：

• 空間想象 ：給定一張圖片，想象從不同視角（比如更高、更左）看會(huì)是什么樣子。

• 世界探索 ：像玩FPS游戲一樣，在場(chǎng)景中“走動(dòng)”，從不同位置生成連續(xù)的視圖，甚至可以用于三維重建。

• 攝影指導(dǎo) ：分析一張照片，并給出如何改進(jìn)構(gòu)圖和拍攝參數(shù)的建議。

• 3D對(duì)象植入 ：準(zhǔn)確預(yù)測(cè)出真實(shí)照片的相機(jī)參數(shù)，從而可以將虛擬的3D模型無(wú)縫地植入到場(chǎng)景中。

總而言之，Puffin模型通過(guò)“用相機(jī)思考”這一創(chuàng)新范式，成功地統(tǒng)一了相機(jī)為中心的理解與生成任務(wù)，為實(shí)現(xiàn)更全面的空間智能AI邁出了堅(jiān)實(shí)的一步。作者已經(jīng)開(kāi)源了代碼和數(shù)據(jù)集構(gòu)建流程，這無(wú)疑將極大地推動(dòng)相關(guān)領(lǐng)域的研究。

你覺(jué)得這個(gè)技術(shù)未來(lái)會(huì)用在哪些場(chǎng)景？一起來(lái)聊聊吧！