你知道大模型是怎么工作的，但讓你從零寫(xiě)一個(gè)，從哪行代碼開(kāi)始？

GitHub上有個(gè)叫"LLM From Scratch"的免費(fèi)課程，名字直白到像詐騙——但它確實(shí)教你從空白文件開(kāi)始，一步步搭出一個(gè)能跑在筆記本上的AI。沒(méi)有調(diào)用API，沒(méi)有現(xiàn)成的框架，每一行代碼自己寫(xiě)。

課程分五部分，路徑很清晰。第一部分講分詞（tokenization），從字符級(jí)編碼入手，解釋為什么小數(shù)據(jù)量下BPE算法會(huì)失效。第二部分進(jìn)入Transformer架構(gòu)，把嵌入層、自注意力、層歸一化、MLP模塊逐個(gè)實(shí)現(xiàn)。第三部分是訓(xùn)練循環(huán)，包括損失函數(shù)、AdamW優(yōu)化器、梯度裁剪和學(xué)習(xí)率調(diào)度。第四部分講文本生成，涉及溫度采樣、top-k篩選、自回歸解碼。最后一部分整合起來(lái)，用真實(shí)數(shù)據(jù)訓(xùn)練，觀察損失曲線(xiàn)，做擴(kuò)展實(shí)驗(yàn)，目標(biāo)是訓(xùn)練出一個(gè)"最佳AI詩(shī)人"。

這個(gè)課程的定位很明確：不是讓你挑戰(zhàn)ChatGPT或Gemini，而是讓愛(ài)好者理解底層機(jī)制。最終模型能在筆記本上運(yùn)行，訓(xùn)練數(shù)據(jù)是詩(shī)歌集。Hackaday發(fā)現(xiàn)這個(gè)項(xiàng)目時(shí)，強(qiáng)調(diào)的正是這種"從無(wú)到有"的完整體驗(yàn)——很多人用過(guò)LLM，但沒(méi)見(jiàn)過(guò)數(shù)據(jù)怎么變成參數(shù)、參數(shù)怎么變成下一個(gè)token的概率分布。

課程作者把全部材料開(kāi)源在GitHub頁(yè)面，包括靈感來(lái)源和每一步的預(yù)期成果。對(duì)于想深入理解而非僅會(huì)調(diào)用的開(kāi)發(fā)者，這種手搓過(guò)程的價(jià)值在于暴露所有中間狀態(tài)：token怎么編碼、注意力權(quán)重長(zhǎng)什么樣、損失下降是否平滑。這些在調(diào)用現(xiàn)成模型時(shí)都是黑箱。

本地運(yùn)行小模型的場(chǎng)景正在變多。有人在斷網(wǎng)環(huán)境用本地LLM處理敏感文檔，有人把微調(diào)后的模型嵌入硬件項(xiàng)目。這個(gè)課程提供的不是即戰(zhàn)力，而是拆解復(fù)雜系統(tǒng)的能力——當(dāng)你需要優(yōu)化延遲、壓縮模型或調(diào)試幻覺(jué)時(shí)，知道內(nèi)部結(jié)構(gòu)比知道API參數(shù)更重要。