點擊下方“JavaEdge”，選擇“設為星標”

第一時間關(guān)注技術(shù)干貨！

免責聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

DeepSeek-R1 會推理，GPT-4o 會看。能否讓

1 LLM既能看又能推理？

DeepSeek-R1取得很大成功，但它有個問題——無法處理圖像輸入。

1.1 DeepSeek模型發(fā)展

自2024.12，DeepSeek已發(fā)布：

• DeepSeek-V3（2024.12）：視覺語言模型（VLM），支持圖像和文本輸入，類似 GPT-4o

• DeepSeek-R1（2025.1）：大規(guī)模推理模型（LRM），僅支持文本輸入，但具備更強的推理能力，類似 OpenAI-o1

我們已領(lǐng)略視覺語言模型（VLM）和大規(guī)模推理模型（LRM），下一個是誰？

我們需要視覺推理模型（VRM）——既能看又能推理。本文探討如何實現(xiàn)它。

2 現(xiàn)有模型的問題

當前VLM 不能很好推理，而 LRM 只能處理文本，無法理解視覺信息。若想要一個既能看懂圖像，又能深度推理的模型？

物理問題示例

我是一個學生，向 LLM 提問物理問題，并附帶一張圖像。

就需要一個模型能同時：

1. 理解圖像內(nèi)容

2. 進行深度推理（如分析問題、評估答案、考慮多種可能性）

就需要一個大規(guī)模視覺推理模型（VRM），視覺推理模型示意圖：

討論咋訓練 VRM 之前，先了解VLM（視覺語言模型）架構(gòu)。

3 VLM架構(gòu)

如LLaVA，LargeLanguageandVisionAssistant（大規(guī)模語言與視覺助手），2023年底發(fā)布的知名 VLM。

LLM 通常采用 Transformer 結(jié)構(gòu)，輸入文本后將其轉(zhuǎn)化為 token，再通過數(shù)學計算預測下一個 token。

如若輸入文本"Donald Trump is the"，LLM可能預測下一 token 為"POTUS"（美國總統(tǒng)）。LLM 預測過程示意圖：

那VLM咋工作的？VLM不僅根據(jù)前面的文本預測輸出，還會參考輸入的圖像。VLM 預測過程示意圖：

但咋讓 LLM 理解圖像？

4 VLM咋處理圖像輸入？

核心思路：將圖像數(shù)據(jù)轉(zhuǎn)換成 LLM 能理解的格式。

LLaVA論文用CLIP 視覺編碼器將圖像轉(zhuǎn)化為向量。然后，在編碼器后添加一個可訓練的線性層。圖像編碼示意圖：

最終的視覺隱藏狀態(tài)（Hv）會與文本 token 的隱藏狀態(tài)拼接在一起，輸入 Transformer 層，最后生成預測結(jié)果。

LLaVA 在這里使用的是Vicuna作為 LLM。

不過，僅僅有這個結(jié)構(gòu)是不夠的，模型還需要訓練，才能真正理解圖像內(nèi)容。

5 VLM咋訓練？

LLaVA 采用了**端到端微調(diào)（End-to-End Fine-tuning）**的方式。

★ 端到端微調(diào)：將整個模型視作一個黑盒，并進行整體訓練。 ”

LLaVA 端到端微調(diào)示意圖：

訓練時，CLIP編碼器的參數(shù)通常是凍結(jié)的，只更新線性層（W）和 LLM（?）的參數(shù)。LLaVA 微調(diào)過程示意圖：

RL在 LLM 領(lǐng)域表現(xiàn)出色，提升了推理能力（如 RLHF 訓練的 GPT-4）。若用 RL 訓練 VLM，是否能打造更強的視覺推理模型？

以圖像分類任務為例。

6.1 任務定義：圖像分類

訓練時，希望模型能根據(jù)圖像內(nèi)容，輸出正確的類別標簽。

數(shù)據(jù)集中的每條數(shù)據(jù)包括：圖像、標題（正確答案）、問題。

可設計兩種獎勵機制：

1. 正確性獎勵：如果模型輸出的答案正確（例如"dog"），則獎勵 +1。

   格式獎勵：如果模型按照固定格式輸出（先思考 ，再回答 ），則額外獎勵。

   這可鼓勵模型在回答前進行推理，而不是盲目給出答案。

   7 實際應用

   VLM目前在某些場景仍表現(xiàn)不佳，如數(shù)學和科學類問題。

   如題目正確答案2 bpm，但 GPT-4o 回答錯誤：

   GPT-4o錯誤回答：

   如能讓 LLM 在視覺推理方面更強，或許能正確解答。期望的 VRM 結(jié)果：

   本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

   • 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

   • 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

   • 主導交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

   • AIGC應用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

   • 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

   • 實戰(zhàn)干貨：編程嚴選網(wǎng)

   關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

   加我好友，一起AI探索交流：