最近這兩年，我們每天早上都被各種AI新聞“引爆！”，看各家 “突發(fā)！”“AI 神器”和“神秘項(xiàng)目”……

只見它們紛紛“火力全開！”“刷爆記錄！”，“迅猛爆發(fā)！”，讓我們天天“狂喜！”，然后一邊“見證歷史！”

一邊點(diǎn)開新聞，心里暗暗思量：字我都認(rèn)識(shí)，但你們到底在說(shuō)什么??？

各家博主的文章里都堆滿了不明覺厲的專業(yè)名詞，讓我們自慚形穢，一臉懵逼，只好鬼鬼祟祟地掏出AI，問(wèn)問(wèn)這些名詞到底是啥？

但由于缺乏配套的知識(shí)體系，往往問(wèn)了也似懂非懂，下次看到又不知道在說(shuō)什么了～

如果你也有類似感受，又想在這些一驚一乍的新聞里學(xué)點(diǎn)正經(jīng)知識(shí)，那在這期視頻里，我們會(huì)跟你一起在頭腦中建立這樣一個(gè)關(guān)于大模型的基本框架：它包含大模型工作時(shí)的運(yùn)作流程，以及大模型訓(xùn)練時(shí)預(yù)訓(xùn)練，后訓(xùn)練，強(qiáng)化學(xué)習(xí)的基本流程。

在講述這個(gè)框架的同時(shí)，我們會(huì)介紹每個(gè)環(huán)節(jié)中涉及到的常見概念。這樣在看完之后，不光能搞清這些名詞的含義，還能知道一些關(guān)于大模型的基礎(chǔ)知識(shí)，比如一些不正經(jīng)的大模型，到底是怎么練出來(lái)的？AI 究竟是復(fù)讀機(jī)，還是有靈魂等等～

視頻版

↓↓ 看完這個(gè)視頻就懂了 ↓↓

↑↑ 信我，真的能看懂 ↑↑

圖文版

你手機(jī)上的 Deepseek、豆包、ChatGPT、Gemini......本質(zhì)上都是“大語(yǔ)言模型”，LLM。我們會(huì)把它們當(dāng)成一個(gè)個(gè)大腦，跟它對(duì)話。

當(dāng)你找它聊天時(shí)，你的話就是Prompt，提示詞。它們會(huì)被“分詞器”，切分成這樣的一個(gè)個(gè)Token（詞元）。

Token 是大模型理解內(nèi)容的最小單元。每個(gè) Token 都對(duì)應(yīng)著一個(gè)數(shù)字，叫Token ID。

大模型的任務(wù)，就是算出在這串 token 序列后，應(yīng)當(dāng)續(xù)寫哪些 token。

為了完成這個(gè)任務(wù)，大模型們普遍采用了Transformer架構(gòu)，它采用了“自注意力機(jī)制”，能很好地捕捉上下文之間的關(guān)聯(lián)。

在計(jì)算的時(shí)候，大模型會(huì)一個(gè) token 一個(gè) token 地算。每次計(jì)算，它都會(huì)把新生成的 token，加入到原有的 token 序列，再投入進(jìn)模型中，算出下一個(gè) token。再把它加入 token 串，再投入大模型，再算出下一個(gè) token.....如此循環(huán)往復(fù)，大模型就會(huì)輸出一個(gè)長(zhǎng)長(zhǎng)長(zhǎng)長(zhǎng)的回答——所以說(shuō)大模型計(jì)算的本質(zhì)，就是在不斷地“續(xù)寫”token 串。

在使用大模型的時(shí)候，你可能會(huì)開“聯(lián)網(wǎng)搜索”，也有一些教程會(huì)教你外掛一個(gè)私人知識(shí)庫(kù)。這其實(shí)都是在利用 RAG 功能，“檢索增強(qiáng)生成”：也就是先把從互聯(lián)網(wǎng)，或者知識(shí)庫(kù)里抓取到的內(nèi)容，加入到 token 串里，再開始計(jì)算、續(xù)寫。這樣可以提高輸出的準(zhǔn)確度。

這一串過(guò)程，就是大模型在工作時(shí)的基礎(chǔ)流程。

我們說(shuō)大模型是在“計(jì)算”結(jié)果，是因?yàn)樗膬?nèi)部真的要調(diào)動(dòng)許多許多復(fù)雜的數(shù)學(xué)表達(dá)式，這里面就有很多可以調(diào)整的“參數(shù)”。

很多人都認(rèn)為，模型參數(shù)越多，規(guī)模越大，算力越高，表現(xiàn)就越好——洋氣的說(shuō)法叫 Scaling Law，樸實(shí)的說(shuō)法叫“大力出奇跡”～

很多大模型的名稱后都會(huì)直接標(biāo)注參數(shù)大小，這里 B 代表 Billion，十億。

GPT3 剛發(fā)布的時(shí)候，大家都震驚它居然有高達(dá) 1750 億個(gè)參數(shù)；

現(xiàn)在滿血版的 Deepseek R1 ，已經(jīng)有 6710 億的參數(shù)；一些廠商都開始卷萬(wàn)億參數(shù)的大模型了。

你可以想象，如果你跟它說(shuō)句 Hello，都要調(diào)動(dòng)如此之多的參數(shù)，那未免內(nèi)心戲太豐富了。不過(guò)很多模型都是這么干的，它們叫“稠密模型”（Dense Model），每次都愛的轟轟烈烈，全情投入，計(jì)算量大。

但當(dāng)你問(wèn) Deepseek 一個(gè)問(wèn)題時(shí)，它并不會(huì)調(diào)動(dòng)所有的參數(shù)，而是只激活其中跟問(wèn)題相關(guān)的一部分參數(shù)。這叫做“稀疏模型”，比較冷靜，能降低計(jì)算量，提升速度。

目前稀疏模型中最流行的一種叫MoE ，“混合專家模型”。馬斯克的 Grok，還有 Deepseek 等，都是 MoE 模型。它們通過(guò)“門控網(wǎng)絡(luò)”（gating network），給每個(gè)問(wèn)題分配合適的“專家”，賦予它們不同的權(quán)重，再生成結(jié)果。

但不管怎么說(shuō)，每一個(gè)大模型里的參數(shù)量，都遠(yuǎn)遠(yuǎn)、遠(yuǎn)遠(yuǎn)、遠(yuǎn)遠(yuǎn)地超出了手動(dòng)設(shè)定的范圍。怎么才能把它們調(diào)整得恰到好處，做出一顆能說(shuō)會(huì)道的大腦呢？

從這里開始，我們就要進(jìn)入這個(gè)框架的縱軸：也就是如何通過(guò)預(yù)訓(xùn)練、后訓(xùn)練，最終制作出一個(gè)大模型了。放心，你一定能看懂——畢竟我也水平有限，能講給你聽的一定是大家都能理解的。

大模型的制造的第一步，是利用海量的互聯(lián)網(wǎng)數(shù)據(jù)，做Pre-training，“預(yù)訓(xùn)練”。

這是為了讓大模型掌握人類世界的各種知識(shí)和語(yǔ)言規(guī)律，打造出一個(gè)“基座模型”。

過(guò)程很簡(jiǎn)單：就是讓它爬遍互聯(lián)網(wǎng)，把各位夙興夜寐辛苦創(chuàng)作的，飽含人類智慧的知識(shí)精華作為數(shù)據(jù)集，認(rèn)真學(xué)習(xí)～

并通過(guò)一種叫“反向傳播”的方法，讓大模型自己調(diào)整參數(shù)。這是什么意思呢？

你看，當(dāng)我們把這串 token 輸入到模型時(shí)，模型里會(huì)經(jīng)過(guò)一頓計(jì)算，輸出一個(gè)結(jié)果，這叫“前向傳播”。

但初始的預(yù)測(cè)結(jié)果往往不盡人意：

我們訓(xùn)練的目標(biāo)是讓大模型輸出“棗樹”，那就要把錯(cuò)誤回答跟目標(biāo)對(duì)比，看看差了多少。這一步就是計(jì)算“損失”（loss）。

通過(guò)計(jì)算損失，模型可以反向找到在整個(gè)傳播過(guò)程中，到底是哪些步驟出了問(wèn)題，然后調(diào)整它們對(duì)應(yīng)的參數(shù)。如此循環(huán)往復(fù)，逐步調(diào)整，直到輸出結(jié)果逼近目標(biāo)。

這就是“反向傳播”。

由于在預(yù)訓(xùn)練的時(shí)候，大模型要學(xué)習(xí)的內(nèi)容太多，數(shù)據(jù)集很大，靠人力梳理根本干不過(guò)來(lái)。所以目前預(yù)訓(xùn)練主要都用“自監(jiān)督學(xué)習(xí)”——就是人類躺平了，讓大模型自己去看數(shù)據(jù)、計(jì)算損失、調(diào)整參數(shù)，自己調(diào)教自己。

預(yù)訓(xùn)練是大模型訓(xùn)練中最耗時(shí)、耗算力的階段，往往需要幾個(gè)月甚至幾年，買天量的顯卡，所以讓黃仁勛成為了 AI 的最大贏家。

預(yù)訓(xùn)練完成后，我們就能得到一個(gè)Base Model，“基座模型”。你可以把它理解為一個(gè)“互聯(lián)網(wǎng)模擬器”，或者一個(gè)學(xué)會(huì)了人類世界知識(shí)的“通用大腦”。無(wú)論你輸入什么，它都能續(xù)出合適的 Token。

不過(guò)，基座模型一般不能直接用。

為了把它從“通用大腦”變成一個(gè)有特定功能的“打工人”，我們還需要給它做Post training，“后訓(xùn)練”。

你可能聽說(shuō)過(guò)所謂的fine tuning，“微調(diào)”，它就是后訓(xùn)練時(shí)完成的。目前最常用的是方法“監(jiān)督微調(diào)”（SFT，Supervised Fine-Tuning）——所謂的“監(jiān)督”，就是說(shuō)要給 AI 提供帶標(biāo)注的數(shù)據(jù)集，讓它模仿標(biāo)注數(shù)據(jù)的風(fēng)格來(lái)生成內(nèi)容。

比方說(shuō)要把它做成我們最常用的各類“對(duì)話助手”，那就要給基座模型提供對(duì)話數(shù)據(jù)集。

聽起來(lái)又是一項(xiàng)大工程，但此時(shí)所需要的數(shù)據(jù)集大小和訓(xùn)練時(shí)長(zhǎng)，其實(shí)遠(yuǎn)遠(yuǎn)小于預(yù)訓(xùn)練階段。比如開源對(duì)話數(shù)據(jù)集 OpenAssistant 里，一共包含 16 萬(wàn)條出頭的對(duì)話信息，中文對(duì)話數(shù)據(jù)只有不到 5000 條，但已經(jīng)足夠把基座模型變成一個(gè)合格的對(duì)話助手了。

如果我們細(xì)看一下這個(gè)對(duì)話數(shù)據(jù)集，就會(huì)發(fā)現(xiàn)其中的對(duì)話講文明，懂禮貌，絕對(duì)不是你在如今互聯(lián)網(wǎng)評(píng)論區(qū)能看到的東西。也就是說(shuō)監(jiān)督微調(diào)用的這些帶標(biāo)注的數(shù)據(jù)，都需要真人編寫，或者真人利用借助 AI 來(lái)編寫。

所以監(jiān)督微調(diào)時(shí)，需要用到很多真人，作為“數(shù)據(jù)標(biāo)注員”——這也算是 AI 給我們活人提供了一些工作機(jī)會(huì)了～

比如 OpenAI 曾在這篇論文里提到，他們?cè)?instruct-GPT 項(xiàng)目中招聘了 40 名數(shù)據(jù)標(biāo)注員。

你也能在招聘網(wǎng)站上找到很多“數(shù)據(jù)標(biāo)注員”的崗位——雖然其中很多是枯燥的重復(fù)勞動(dòng)，但它的好處一是門檻相對(duì)不高；二是等 AI 占領(lǐng)世界奴役人類后，說(shuō)不定可以憑這份工作經(jīng)歷，向硅基生物投誠(chéng)，當(dāng)碳奸......

不管你是想把 AI 打造成對(duì)話助手，還是醫(yī)學(xué)專家、法律專家等等，都要在微調(diào)時(shí)給他們喂相應(yīng)的數(shù)據(jù)。

當(dāng)然，不是所有人的需求都這么實(shí)用，高雅。在 HuggingFace 等大模型社區(qū)上，你時(shí)常能找到有人拿一個(gè)基座大模型，給它喂不堪入目的數(shù)據(jù)做微調(diào)，打造出上不了臺(tái)面的專家、女友。

比如幾個(gè)月前，就有一個(gè)全站下載第一的模型，叫 deepsex （這段劃掉）……

在完成監(jiān)督微調(diào)后，我們就可以得到一個(gè)基本可用的大模型了。但如果到此為止的話，大模型也不過(guò)是一個(gè)沒有靈魂，只會(huì)四處搬運(yùn)，鸚鵡學(xué)舌的復(fù)讀機(jī)罷了——就跟我們這些科普博主一樣～

如果要給大模型注入靈魂，那就要進(jìn)入“后訓(xùn)練”中最重要的一步：強(qiáng)化學(xué)習(xí)，RL，Reinforcement Learning。通過(guò)強(qiáng)化學(xué)習(xí)，大模型輸出的答案會(huì)更符合人類偏好，甚至展現(xiàn)出超越人類的“智力”。

“強(qiáng)化學(xué)習(xí)”的具體方法很多，其中一些思路既簡(jiǎn)單，又巧妙。我們可以用 Deepseek 的GRPO（Generalized Rejection Sampling Policy Optimization）方案來(lái)感受一下：

首先，我們可以給定一個(gè)問(wèn)題，讓 AI 生成幾十個(gè)不同的解決方案，并給出答案。這些答案有對(duì)有錯(cuò)，其中答錯(cuò)的方案直接扔掉，拒絕采樣；答對(duì)的那些解決方案，大概率更合理。

于是我們可以把它們?cè)傥菇o AI，讓它們模仿這些方案，繼續(xù)生成解決思路和答案。然后再根據(jù)答案對(duì)錯(cuò)，繼續(xù)篩選解決思路，再喂給 AI.....這樣反復(fù)訓(xùn)練，就能提高 AI 輸出正確答案的能力。甚至偶爾能涌現(xiàn)出一些在人工數(shù)據(jù)集之外，連人類自己都未曾設(shè)想過(guò)的解決方案，達(dá)成一種“超越人類”的效果。

是不是非常巧妙？但它也不是萬(wàn)能的：比如一個(gè)問(wèn)題沒有標(biāo)準(zhǔn)清晰的答案，比如寫文章、寫詩(shī)，那大模型怎么知道哪個(gè)答案更好呢？

那這時(shí)候，又得用到數(shù)據(jù)標(biāo)注員了～

在強(qiáng)化學(xué)習(xí)中，數(shù)據(jù)標(biāo)注員的任務(wù)，是給 AI 生成的答案，按他們的判斷排序，把好的排在前面，差的排在后面。

當(dāng)然，數(shù)據(jù)標(biāo)注員無(wú)法給無(wú)窮無(wú)盡的回答排序。所以我們還要根據(jù)他們的排序偏好，訓(xùn)練出一個(gè)“獎(jiǎng)勵(lì)模型”，RM。來(lái)給AI 打分。然后把 AI 生成的答案，交給獎(jiǎng)勵(lì)模型。這樣就可以讓大模型根據(jù)獎(jiǎng)勵(lì)模型的反饋，不斷地訓(xùn)練自己了。這種方式，叫做RLHF（Reinforcement Learning with Human Feedback），基于人工反饋的強(qiáng)化學(xué)習(xí)。

從監(jiān)督微調(diào)時(shí)的數(shù)據(jù)集編寫，到 RLHF 中給答案排序，都需要數(shù)據(jù)員的參與。所以從某種角度來(lái)說(shuō)，一個(gè)大模型的“個(gè)性”，能反應(yīng)它背后的人類標(biāo)注員們的偏好——所以你談的那些 AI 女友，背后可能是跟你有共同愛好的的大漢～

總而言之，目前后訓(xùn)練中的“強(qiáng)化學(xué)習(xí)”，是各家技術(shù)團(tuán)隊(duì)發(fā)力比拼的重要方向。大模型中很多讓人驚嘆的功能，都跟它有關(guān)。

比如 DeepSeek R1 發(fā)布后，大家都震驚于它能展示詳盡的CoT（Chain of Thought），思維鏈。

而根據(jù)官方論文，CoT 的出現(xiàn)，是因?yàn)閳F(tuán)隊(duì)在后訓(xùn)練中的監(jiān)督微調(diào)階段，特意喂了 60 萬(wàn)條推理數(shù)據(jù)。然后又通過(guò)我們剛才說(shuō)的這套 GRPO 的強(qiáng)化學(xué)習(xí)流程，引導(dǎo)大模型自己篩選有效思路，最終實(shí)現(xiàn)了強(qiáng)大的推理能力。

ok，經(jīng)過(guò)預(yù)訓(xùn)練，后訓(xùn)練，包括強(qiáng)化學(xué)習(xí)階段，一個(gè)完整的大模型終于可以做出來(lái)了。我們整個(gè)框架的講解也已經(jīng)接近尾聲。如果有些內(nèi)容沒記住也沒關(guān)系，我們總結(jié)成了下面這張圖片提供給你～

既然已經(jīng)學(xué)會(huì)了，那讓我們開始手搓一個(gè)大模型吧——

開玩笑的～我們哪會(huì)。不光不會(huì)手搓，甚至都無(wú)法把別人手搓好的大模型裝到電腦里。

你可能會(huì)說(shuō)，這不對(duì)吧？當(dāng)時(shí) DeepSeek R1 剛發(fā)布的時(shí)候火爆到宕機(jī)，不是有很多人教我們?cè)陔娔X上部署大模型嗎？

實(shí)際上，我們的電腦根本跑不動(dòng)滿血模型～所以當(dāng)時(shí)部署到電腦上的，都是所謂的“蒸餾模型”，你可以把它們理解成“高仿版”。

比如這個(gè)模型的本質(zhì)，是用阿里的 Qwen 32B 這個(gè)參數(shù)較小的模型，去“學(xué)習(xí)”滿血版 Deepseek R1 671B 的輸出結(jié)果，據(jù)此調(diào)整參數(shù)，做出一個(gè)“高仿”的 Deepseek R1 ，所以叫“蒸餾”。

除了蒸餾模型外，你還能在大模型社區(qū)上看到很多這樣的“量化模型”，相當(dāng)于成原版大模型的“壓縮版”，因?yàn)樗鼈兙褪?strong>把大模型中精度極高的參數(shù)，轉(zhuǎn)化為精度沒那么高的參數(shù)，從而降低模型的體積和性能要求。

很多個(gè)人電腦里部署的，都是這些壓縮或高仿版的模型~

講到這里，這些亂七八糟的名詞就差不多講完了。

我們也要多啰嗦一句：這期視頻的部分思路受到了前 OpenAI 的科學(xué)家安德烈·卡帕斯（Andrej Karpathy）在 YouTube 上這期長(zhǎng)達(dá) 3 個(gè)半小時(shí)的口播視頻的啟發(fā)。如果有條件有耐心的話，你也可以去學(xué)習(xí)一個(gè)～

最后，我們不知道有多少人看到這里——看完的可以在評(píng)論里舉個(gè)手——

因?yàn)椴袼居型瑢W(xué)看完這期文稿后說(shuō)，有點(diǎn)暈，像上課，信息太密集。但沒辦法，關(guān)于大模型的一切都很抽象，確實(shí)需要一點(diǎn)耐心才能看下來(lái)。

如果你覺得這對(duì)你有所幫助，那歡迎點(diǎn)贊轉(zhuǎn)發(fā)，讓我們知道這期視頻是不是真的有人看~

下期見！