點擊下方“JavaEdge”，選擇“設(shè)為星標”

第一時間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

Meta發(fā)布 Llama 4 系列的首批模型，幫用戶打造更個性化多模態(tài)體驗

隨 AI 在日常生活中的廣泛應(yīng)用，確保領(lǐng)先的模型與系統(tǒng)開放可用，對推動個性化體驗創(chuàng)新至關(guān)重要。支持整個 Llama 生態(tài) 的最先進模型組合。正式推出的Llama 4 Scout和Llama 4 Maverick，是首批開放權(quán)重、原生多模態(tài)、支持超長上下文窗口、采用 MoE架構(gòu)構(gòu)建的模型?！熬瞢F”——Llama 4 Behemoth，不僅是迄今最強大的模型之一，也是新一代模型的“老師”。

這些 Llama 4 模型的發(fā)布標志著 Llama 生態(tài)邁入新紀元。Llama 4 系列中的 Scout 和 Maverick 都是高效設(shè)計的模型：

• 前者能以 Int4 量化方式部署在單張 H100 GPU 上

• 后者則適配于單個 H100 主機

訓(xùn)練了 Behemoth 教師模型，在 STEM 基準（如 MATH-500 和 GPQA Diamond）中表現(xiàn)優(yōu)于 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。

開放才能推動創(chuàng)新，對開發(fā)者、Meta 和整個世界都是利好。可通過 llama.com 和 Hugging Face 下載 Scout 與 Maverick。同時，Meta AI 也已在 WhatsApp、Messenger、Instagram 私信啟用 Llama 4 模型。

這只是 Llama 4 系列的開始。最智能的系統(tǒng)應(yīng)能泛化行動、自然對話并解決未曾遇到的問題。賦予 Llama 在這些領(lǐng)域的“超能力”，將催生更優(yōu)質(zhì)的產(chǎn)品和更多開發(fā)者創(chuàng)新機會。

無論你是構(gòu)建應(yīng)用的開發(fā)者，集成 AI 的企業(yè)用戶，或是對 AI 潛力充滿好奇的普通用戶，Llama 4 Scout 和 Maverick 都是將下一代智能融入產(chǎn)品的最佳選擇。接下來，介紹它們的四大研發(fā)階段以及設(shè)計過程中的一些關(guān)鍵洞察。

1 預(yù)訓(xùn)練階段

這些模型代表 Llama 系列的巔峰之作，具備強大多模態(tài)能力，同時在成本上更具優(yōu)勢，甚至性能超越了一些參數(shù)規(guī)模更大的模型。為打造 Llama 下一代模型，在預(yù)訓(xùn)練階段采用了多項新技術(shù)。

MoE

Llama 4是首批采用MoE的模型。MoE架構(gòu)的一個核心優(yōu)勢：每個 token 只激活模型中一小部分參數(shù)，從而大幅提高訓(xùn)練與推理的效率。在給定的 FLOPs（浮點運算）預(yù)算下，MoE 模型的效果優(yōu)于傳統(tǒng)的密集模型。

img

以Llama 4 Maverick為例：它擁有 170 億激活參數(shù)，總參數(shù)數(shù)為 4000 億。其網(wǎng)絡(luò)結(jié)構(gòu)在推理過程中交替使用密集層與 MoE 層。每個 token 會被送入一個共享專家和一個 128 個路由專家之一，這種機制確保模型在保持全參數(shù)存儲的同時，僅激活必要部分，從而提升運行效率、降低成本與延遲。Maverick 可在一臺 NVIDIA H100 DGX 主機上運行，也支持分布式部署以實現(xiàn)最大效率。

Llama 4 天生支持多模態(tài)輸入，采用早期融合（early fusion）機制，將文本與視覺 token 一體化輸入模型主干。使得能用大量未標注的文本、圖像和視頻數(shù)據(jù)對模型進行聯(lián)合預(yù)訓(xùn)練。同時，升級視覺編碼器，基于 MetaCLIP 的改進版，在預(yù)訓(xùn)練階段與凍結(jié)的 Llama 主干協(xié)同優(yōu)化。

新訓(xùn)練方法MetaP

精確控制每層學(xué)習(xí)率和初始化比例。這些超參數(shù)在不同 batch size、模型寬度、深度和 token 數(shù)下都具有良好的遷移性。Llama 4 預(yù)訓(xùn)練涵蓋 200 多種語言，其中 100 多種語言的數(shù)據(jù)量超過 10 億 tokens，總體上多語種訓(xùn)練 token 數(shù)量是 Llama 3 的 10 倍。

FP8 精度

用FP8 精度進行訓(xùn)練，保持模型質(zhì)量的同時提高訓(xùn)練效率。如訓(xùn)練 Behemoth 時，用 32000 張 GPU，并實現(xiàn) 390 TFLOPs/GPU 的高效能。整個訓(xùn)練數(shù)據(jù)超過30 萬億個 token，是 Llama 3 的兩倍，數(shù)據(jù)類型包含多樣的文本、圖像和視頻內(nèi)容。

訓(xùn)練中期，采用“mid-training”階段，通過專門數(shù)據(jù)集提升模型的核心能力，如支持更長上下文的能力。得益于這些改進，Llama 4 Scout 實現(xiàn)業(yè)界領(lǐng)先的 1000 萬 token 輸入長度。

2 后訓(xùn)練階段

新模型有大小多種選擇，以滿足不同應(yīng)用場景與開發(fā)者需求。Llama 4 Maverick在圖像和文本理解方面表現(xiàn)卓越，是多語言 AI 應(yīng)用和創(chuàng)意寫作的理想選擇。

后訓(xùn)練階段最大的挑戰(zhàn)是保持不同輸入模態(tài)、推理能力與對話能力之間的平衡。為此，設(shè)計“多模態(tài)課程”訓(xùn)練策略，確保模型不因?qū)W習(xí)多模態(tài)而犧牲單一模態(tài)性能。更新了后訓(xùn)練流程，采取輕量監(jiān)督微調(diào)（SFT）> 在線強化學(xué)習(xí)（RL）> 輕量偏好優(yōu)化（DPO）的方式。發(fā)現(xiàn)SFT 與 DPO 若使用不當(dāng)，會限制模型在 RL 階段的探索，特別是在推理、編程和數(shù)學(xué)領(lǐng)域會導(dǎo)致效果下降。

為解決這問題，剔除超過 50% 的“簡單樣本”，僅對更難數(shù)據(jù)進行 SFT。之后 RL 階段用更具挑戰(zhàn)性提示，實現(xiàn)性能飛躍。采用持續(xù)在線 RL 策略：訓(xùn)練模型 → 用模型篩選中等難度以上的提示 → 再訓(xùn)練，如此循環(huán)，有效平衡計算成本與精度。最終，我們通過輕量 DPO 優(yōu)化邊緣情況，全面提升模型的智能與對話能力。

Llama 4 Maverick 擁有 170 億激活參數(shù)、128 個專家模塊與 4000 億總參數(shù)，在性能上超越 Llama 3.3 的 70B 模型。它是目前最頂級的多模態(tài)模型，在編程、推理、多語言、長文本與圖像等任務(wù)中優(yōu)于 GPT-4o 與 Gemini 2.0，與 DeepSeek v3.1 的表現(xiàn)不相上下。

Llama 4 Scout是一款通用模型，具備 170 億激活參數(shù)、16 個專家模塊、1090 億總參數(shù)，性能在同類模型中首屈一指。它將上下文長度從 Llama 3 的 128K 大幅提升至1000 萬 tokens，支持多文檔摘要、個性化任務(wù)解析、大型代碼庫推理等復(fù)雜應(yīng)用。

Scout 在預(yù)訓(xùn)練和后訓(xùn)練階段都使用了 256K 上下文長度，從而擁有出色的長文本泛化能力。在文本檢索、代碼負對數(shù)似然（NLL）評估等任務(wù)中均表現(xiàn)優(yōu)秀。其一大創(chuàng)新是采用了不使用位置嵌入的交錯注意力機制（iRoPE），通過 溫度調(diào)節(jié)推理機制 提升了對超長輸入的處理能力。

img
img

我們對兩個模型都進行了廣泛的圖像和視頻幀訓(xùn)練，以增強它們對視覺內(nèi)容的理解能力，包括時間相關(guān)活動和圖像之間的關(guān)聯(lián)。這讓模型在處理多圖輸入時能輕松地結(jié)合文字提示進行視覺推理與理解。預(yù)訓(xùn)練階段使用最多48張圖像的輸入，并在后期測試中驗證模型在處理最多8張圖像時的良好表現(xiàn)。

Llama 4 Scout在圖像定位方面表現(xiàn)尤為出色，能夠?qū)⒂脩舻奶崾緶蚀_對應(yīng)到圖像中的具體視覺元素，實現(xiàn)更精確的視覺問答。這款模型在編程、推理、長文本理解和圖像處理等方面全面超越以往版本的 Llama 模型，性能領(lǐng)先同類模型。

3 推出更大規(guī)模的 Llama：2 萬億參數(shù)巨獸 Behemoth

Llama 4 Behemoth——擁有高級智能的“教師模型”，在同類模型中表現(xiàn)領(lǐng)先。Behemoth 是一個多模態(tài)專家混合（MoE）模型，激活參數(shù)達 2880 億，擁有 16 個專家模塊，總參數(shù)量接近兩萬億。在數(shù)學(xué)、多語言和圖像基準測試中表現(xiàn)一流，因此成為訓(xùn)練更小的 Llama 4 模型的理想“老師”。

從 Behemoth 模型中通過“共蒸餾”（codistillation）技術(shù)訓(xùn)練出了 Llama 4 Maverick，有效提升了最終任務(wù)表現(xiàn)。我們還研發(fā)了一種全新的損失函數(shù)，能在訓(xùn)練過程中動態(tài)調(diào)整軟標簽和硬標簽的權(quán)重。此外，我們還通過在 Behemoth 上運行前向傳遞，生成用于訓(xùn)練學(xué)生模型的數(shù)據(jù)，大幅降低了訓(xùn)練成本。

對這樣一個擁有兩萬億參數(shù)的模型，其后期訓(xùn)練本身就是一項巨大挑戰(zhàn)。我們從數(shù)據(jù)量級就開始徹底改革訓(xùn)練方法。為提升性能，我們將監(jiān)督微調(diào)（SFT）數(shù)據(jù)削減了95%（相比于小模型只需要削減50%），以更專注于數(shù)據(jù)質(zhì)量和效率。

還發(fā)現(xiàn)：先進行輕量級的 SFT，再進行大規(guī)模強化學(xué)習(xí)（RL），能夠顯著提升模型的推理和編程能力。RL策略包括：

• 使用 pass@k 方法選取具有挑戰(zhàn)性的提示構(gòu)建訓(xùn)練課程；

• 動態(tài)過濾無效提示；

• 混合多個任務(wù)的提示組成訓(xùn)練批次；

• 使用多種系統(tǒng)指令樣本，確保模型能廣泛適應(yīng)不同任務(wù)。

為支持 2 萬億參數(shù)的 RL 訓(xùn)練，重構(gòu)了整個強化學(xué)習(xí)基礎(chǔ)設(shè)施。對 MoE 并行架構(gòu)進行了優(yōu)化，提高訓(xùn)練速度，并開發(fā)了完全異步的在線 RL 框架，提升了訓(xùn)練的靈活性和效率。通過將不同模型分配到不同 GPU 并進行資源平衡，實現(xiàn)訓(xùn)練效率的近10倍提升。

4 安全機制與防護措施

致力打造有用且安全的模型，同時規(guī)避潛在的重大風(fēng)險。Llama 4 遵循《AI 使用開發(fā)指南》中的最佳實踐，從預(yù)訓(xùn)練到系統(tǒng)級都融入了防護機制，以保障開發(fā)者免受惡意行為干擾，從而開發(fā)出更安全、可靠的應(yīng)用。

4.1 預(yù)訓(xùn)練與后訓(xùn)練防護

• 預(yù)訓(xùn)練：使用數(shù)據(jù)過濾等方法保護模型。

• 后訓(xùn)練：通過一系列技術(shù)確保模型遵循平臺政策，保持對用戶和開發(fā)者的友好性和安全性。

開源了多種安全工具，方便集成進 Llama 模型或第三方系統(tǒng)：

• Llama Guard：與 MLCommons 聯(lián)合開發(fā)的 風(fēng)險分類法 構(gòu)建的輸入輸出安全模型。

• Prompt Guard：一個可識別惡意提示（如 Jailbreak 和提示注入）的分類模型。

• CyberSecEval：幫助開發(fā)者了解和降低生成式 AI 網(wǎng)絡(luò)安全風(fēng)險的評估工具。

這些工具支持高度定制，開發(fā)者可根據(jù)應(yīng)用需求進行優(yōu)化配置。

4.3 安全評估與紅隊測試

我們在各種使用場景下進行系統(tǒng)化測試，并將測試結(jié)果反饋到模型后訓(xùn)練中。我們使用動態(tài)對抗性探測技術(shù)（包括自動和人工測試）來識別模型的潛在風(fēng)險點。

一種新測試方式——生成式攻擊智能代理測試（GOAT），可模擬中等技能水平的攻擊者進行多輪交互，擴大測試覆蓋范圍。GOAT 的自動化測試能替代人工團隊處理已知風(fēng)險區(qū)域，讓專家更專注于新型對抗場景，提高測試效率。

4.4 解決語言模型中的偏見問題

大型語言模型容易出現(xiàn)偏見，尤其在社會和政治話題上偏向自由派。這是因為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)本身就存在傾向性。

目標是消除偏見，讓 Llama 能夠公正地理解并表達有爭議話題的不同觀點，而非偏袒某一方。

Llama 4 在這方面取得了重大進展：

• 拒答比例從 Llama 3 的 7% 降低至 Llama 4 的 2% 以下；

• 對于具有爭議性的問題，拒答不平衡的比例降至 1% 以下；

• 表現(xiàn)出強烈政治傾向的響應(yīng)率僅為 Llama 3 的一半，與 Grok 相當(dāng)。

繼續(xù)努力，進一步降低偏見水平。

5 探索 Llama 生態(tài)系統(tǒng)

除了模型智能，用戶還希望模型反應(yīng)個性化、速度快。Llama 4 是迄今為止最先進的模型，已為此進行優(yōu)化。模型只是打造完整體驗的一部分。

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

加我好友，一起AI探索交流：