導(dǎo)語

集智俱樂部、集智學(xué)園創(chuàng)始人，北京師范大學(xué)張江教授開設(shè)了，致力于打破學(xué)科壁壘，將復(fù)雜系統(tǒng)與人工智能深度融合。從神經(jīng)網(wǎng)絡(luò)到因果推斷，從世界模型到多尺度建模，甚至包含最前沿的“氛圍編程（Vibe Coding）”實(shí)戰(zhàn)，帶你親手落地AI項(xiàng)目。

作為系列課程的第六講，張江教授將以「大語言模型：從注意力機(jī)制到智能體時(shí)代」為題，講解Transformer模型，大語言模型預(yù)訓(xùn)練與微調(diào)，以及現(xiàn)在新的技術(shù)趨勢(shì)。正式分享將于4月13日（周一）13:30-16:15騰訊會(huì)議線上直播，北師大海淀區(qū)線下授課（助教可協(xié)助入校）。

課程簡(jiǎn)介

ChatGPT背后的核心機(jī)制，Transformer注意力已成為當(dāng)代AI基礎(chǔ)設(shè)施的核心組件，這套架構(gòu)在過去七年里驅(qū)動(dòng)了整個(gè)領(lǐng)域的能力跳躍。理解它，就是理解當(dāng)前大模型能力的物理邊界在哪里。

本節(jié)課程從語言模型三十年的演進(jìn)史出發(fā)，系統(tǒng)拆解大語言模型的運(yùn)作原理。課程沿兩條主線推進(jìn)：一條是機(jī)制主線，從注意力機(jī)制的幾何直覺（如何用Query-Key-Value構(gòu)造有向信息網(wǎng)絡(luò)），到Transformer編解碼器的完整架構(gòu)，再到GPT系列的訓(xùn)練流程（預(yù)訓(xùn)練→指令微調(diào)→RLHF）；另一條是前沿主線，大模型的涌現(xiàn)能力、思維鏈推理、推理時(shí)計(jì)算擴(kuò)展規(guī)律，以及DeepSeek-R1用GRPO替代PPO的技術(shù)路線。

學(xué)完這門課，你能讀懂“Attention is All You Need”的推導(dǎo)，能解釋ChatGPT與DeepSeek的技術(shù)異同，能區(qū)分Prompt Engineering、Context Engineering與Harness Engineering三個(gè)工程層次，并具備從Prompt到API調(diào)用搭建LLM應(yīng)用的基礎(chǔ)能力。

課程大綱

1. 認(rèn)識(shí)大語言模型

   1. 語言模型三十年演進(jìn)：n-gram統(tǒng)計(jì)模型→Word2Vec神經(jīng)語言模型→預(yù)訓(xùn)練LM（BERT/GPT）→LLM→多模態(tài)智能體

   2. LLM的六種使用方式：Prompt、應(yīng)用集成、私有知識(shí)庫(kù)、AI Agent、Fine-tune、Train的適用場(chǎng)景與難度對(duì)比

   3. 上下文學(xué)習(xí)（In-context Learning）與指令學(xué)習(xí)（Instruction Learning）

   4. Prompt Engineering、Context Engineering及GPT API調(diào)用實(shí)踐

2. Transformer架構(gòu)

   1. 信息聚合視角：全連接、卷積（局域聚合）、圖神經(jīng)網(wǎng)絡(luò)的對(duì)比

   2. Query-Key-Value注意力

   3. 多頭注意力（Multi-head Attention）、Layer Norm、Position-wise Feedforward

   4. 正弦余弦位置編碼（Positional Encoding）及其設(shè)計(jì)動(dòng)機(jī)

   5. Transformer編碼器-解碼器完整架構(gòu)與PyTorch源碼解析

   6. In-context learning的數(shù)學(xué)本質(zhì)：注意力機(jī)制等價(jià)于隱式梯度下降

3. GPT與DeepSeek

   1. GPT-1到GPT-4的技術(shù)演進(jìn)：Decoder-only架構(gòu)、參數(shù)規(guī)模爆增、in-context learning、多模態(tài)能力

   2. ChatGPT訓(xùn)練流程：預(yù)訓(xùn)練（Base Model）→監(jiān)督微調(diào)（SFT）→獎(jiǎng)勵(lì)建?！鶵LHF/PPO對(duì)齊

   3. 指令微調(diào)（Instruct Tuning）與人類反饋強(qiáng)化學(xué)習(xí)（RLHF）

   4. DeepSeek-V3：MATH-500達(dá)90.2分，極低推理成本的性能-價(jià)格帕累托最優(yōu)

   5. DeepSeek-R1與GRPO：以組策略優(yōu)化替代PPO，無需獨(dú)立價(jià)值網(wǎng)絡(luò)

4. 新趨勢(shì)

   1. 大模型涌現(xiàn)能力：規(guī)模突破臨界值后的能力突現(xiàn)

   2. 思維鏈（Chain of Thought）推理與推理時(shí)計(jì)算擴(kuò)展定律（Inference Scaling Laws）

   3. AI Agents：自主性、任務(wù)特定性、反應(yīng)性三要素

   4. Harness Engineering：Prompt→Context→Harness的工程范式演進(jìn)，信息層/執(zhí)行層/反饋層三層架構(gòu)

關(guān)鍵術(shù)語

1. Transformer：基于多頭自注意力的序列建模架構(gòu)，摒棄RNN的遞歸結(jié)構(gòu)，當(dāng)前主流LLM的核心組件

2. 自注意力（Self-attention）：序列每個(gè)位置對(duì)所有位置計(jì)算注意力權(quán)重，實(shí)現(xiàn)全局信息聚合；公式：Attention=softmax(QK^T/√d?)V

3. RLHF：基于人類反饋的強(qiáng)化學(xué)習(xí)，通過人工偏好標(biāo)注訓(xùn)練獎(jiǎng)勵(lì)模型，再用PPO優(yōu)化LLM輸出

4. GRPO：DeepSeek-R1采用的強(qiáng)化學(xué)習(xí)算法，以組策略優(yōu)化替代PPO，省去獨(dú)立價(jià)值網(wǎng)絡(luò)

5. In-context Learning（ICL）：無需更新參數(shù)，僅在提示中提供少量示例引導(dǎo)LLM完成任務(wù)；數(shù)學(xué)上等價(jià)于注意力層的隱式梯度下降

6. 涌現(xiàn)能力（Emergent Abilities）：LLM參數(shù)規(guī)模突破閾值后突然具備的新能力

7. Positional Encoding：將位置信息注入詞嵌入，彌補(bǔ)注意力機(jī)制對(duì)序列順序不敏感的缺陷

8. Harness Engineering：2026年興起的智能體系統(tǒng)工程范式，整合Memory、Tools、Orchestration、Guardrails、Evaluation等組件于Prompt之上

9. 幻覺（Hallucination）：LLM生成與事實(shí)不符內(nèi)容的現(xiàn)象，研究顯示約64%的LLM錯(cuò)誤由此引發(fā)

課程信息

課程主題：大語言模型：從注意力機(jī)制到智能體時(shí)代

課程時(shí)間：2026年4月13日（周一） 13:30-16:15

課程形式：騰訊會(huì)議（會(huì)議信息見群內(nèi)通知）/北師大海淀區(qū)線下授課（助教可協(xié)助入校）；集智學(xué)園網(wǎng)站錄播（3個(gè)工作日內(nèi)上線）

課程主講人

張江，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授，集智俱樂部、集智學(xué)園創(chuàng)始人，集智科學(xué)研究中心理事長(zhǎng)，曾任騰訊研究院、華為戰(zhàn)略研究院等特聘顧問。主要研究領(lǐng)域包括因果涌現(xiàn)、復(fù)雜系統(tǒng)分析與建模、規(guī)模理論等。

個(gè)人主頁：https://jake.swarma.org/

課程適用對(duì)象

1. 理工科背景高年級(jí)本科生

2. 理工科背景碩士、博士研究生

報(bào)名須知

1. 課程形式：

1. 參與方式：付費(fèi)學(xué)員可參與騰訊會(huì)議直播/北師大海淀區(qū)線下授課（助教可協(xié)助入校）

2. 授課形式：

1. 平時(shí)：課堂討論與內(nèi)容共創(chuàng)

2. 結(jié)課：項(xiàng)目匯報(bào)

2. 課程周期：2026年3月2日-2026年6月22日，每周一 13:30-16:15進(jìn)行。

3. 課程定價(jià)：399元

課程鏈接：https://campus.swarma.org/v3/course/5684?from=wechat

付費(fèi)流程：

2. 課程頁面添加學(xué)員登記表，添加助教微信入群；

3. 課程可開發(fā)票。

課程共創(chuàng)任務(wù)：課程字幕

為鼓勵(lì)學(xué)員深度參與、積極探索，我們致力于形成系列化知識(shí)傳播成果，并構(gòu)建課程知識(shí)共建社群。為此，我們特別設(shè)立激勵(lì)機(jī)制，讓您的學(xué)習(xí)之旅滿載收獲與成就感。

課程以老師講授為主，每期結(jié)束后，助教會(huì)于課程群內(nèi)發(fā)布字幕共創(chuàng)任務(wù)。學(xué)員通過參與這些任務(wù)，不僅能加深對(duì)內(nèi)容的理解，還可獲得積分獎(jiǎng)勵(lì)。積分可兌換其他讀書會(huì)課程或?qū)嵨铼?jiǎng)品，助力您的持續(xù)成長(zhǎng)。

推薦課程

參考課程

1. 吳恩達(dá)：Build with Andrew https://www.deeplearning.ai/courses/build-with-andrew/

2. Jure Leskovec: Machine Learning with Graphs, StanfordCS224W.https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

3. Steve Brunton: Data Driven Science and Engineering, University of Washingtonhttps://www.youtube.com/playlist?list=PLMrJAkhIeNNRpsRhXTMt8uJdIGz9-X_1-

4. Karthik Duraisamy: DATA-DRIVEN ANALYSIS AND MODELING OF COMPLEX SYSTEMS, Michigen institute for computational discovery and engineering, Michigen University.https://micde.umich.edu/academic-programs-old/data-driven-course/

5. Sergey Levine: Deep Reinforcement Learning, CS 285 at UC Berkeley.http://rail.eecs.berkeley.edu/deeprlcourse/

【集智學(xué)園網(wǎng)站資源】

1. 對(duì)復(fù)雜系統(tǒng)連續(xù)變化自動(dòng)建模——Neural Ordinary Differential Equations解讀https://campus.swarma.org/course/2046

2. 復(fù)雜網(wǎng)絡(luò)自動(dòng)建模在大氣污染中的應(yīng)用https://campus.swarma.org/course/1998

3. 兩套因果框架深度剖析：潛在結(jié)果模型與結(jié)構(gòu)因果模型https://campus.swarma.org/course/2526

4. 穩(wěn)定學(xué)習(xí)：發(fā)掘因果推理和機(jī)器學(xué)習(xí)的共同基礎(chǔ)https://campus.swarma.org/course/2323

5. 因果強(qiáng)化學(xué)習(xí)https://campus.swarma.org/course/2156

6. 張江：因果與機(jī)器學(xué)習(xí)能夠破解涌現(xiàn)之謎嗎https://campus.swarma.org/course/4540

7. 因果涌現(xiàn)理論提出者：Erik Hoel主題報(bào)告https://campus.swarma.org/course/4317

8. 如何從數(shù)據(jù)中發(fā)現(xiàn)因果涌現(xiàn)——神經(jīng)信息壓縮器https://campus.swarma.org/course/4874

9. 標(biāo)準(zhǔn)化流技術(shù)簡(jiǎn)介https://campus.swarma.org/course/1999

10. 帶隱狀態(tài)的強(qiáng)化學(xué)習(xí)世界模型https://campus.swarma.org/course/4848