（來(lái)源：麻省理工科技評(píng)論）

舊金山初創(chuàng)公司 Goodfire 剛剛發(fā)布了一款叫 Silico 的新工具，它能讓研究人員和工程師在訓(xùn)練 AI 模型的過(guò)程中，觀察模型的內(nèi)部結(jié)構(gòu)并調(diào)整參數(shù)——也就是那些決定模型行為的設(shè)置。這可能讓開(kāi)發(fā)者對(duì) AI 的構(gòu)建方式擁有前所未有的精細(xì)控制力。

Goodfire 稱 Silico 是同類(lèi)產(chǎn)品中第一款開(kāi)箱即用的工具，覆蓋從構(gòu)建數(shù)據(jù)集到訓(xùn)練模型的整個(gè)流程。這家公司的使命說(shuō)起來(lái)很簡(jiǎn)單：讓構(gòu)建 AI 模型從“煉金術(shù)”變成“科學(xué)”。ChatGPT 和 Gemini 這樣的大語(yǔ)言模型確實(shí)能做出很厲害的事情，但沒(méi)有人確切知道它們?yōu)槭裁茨茏龅剑@讓修復(fù)缺陷或阻止不良行為變得很困難。

“我們看到一個(gè)越來(lái)越大的鴻溝：一邊是人們對(duì)模型的理解程度，另一邊是模型被部署的廣度，”Goodfire 的 CEO 埃里克·何（Eric Ho）在 Silico 發(fā)布前獨(dú)家告訴《麻省理工科技評(píng)論》�！拔矣X(jué)得現(xiàn)在頭部實(shí)驗(yàn)室的主流想法就是：規(guī)模更大、算力更多、數(shù)據(jù)更多，然后就能實(shí)現(xiàn) AGI，別的都不重要。我們想說(shuō)的是：有更好的路�！�

Goodfire 做的事情屬于一個(gè)叫“機(jī)制可解釋性”（mechanistic interpretability）的技術(shù)方向，同行包括 Anthropic、OpenAI 和 Google DeepMind。簡(jiǎn)單說(shuō)就是給 AI 模型做“腦部掃描”：映射出神經(jīng)元以及神經(jīng)元之間的通路，搞清楚模型做決定時(shí)內(nèi)部到底發(fā)生了什么�！堵槭±砉た萍荚u(píng)論》將機(jī)械可解釋性評(píng)為 2026 年十大突破技術(shù)之一。

Goodfire 想用這種方法做的，不只是事后審計(jì)已經(jīng)訓(xùn)練好的模型，而是從訓(xùn)練階段就介入。

“我們想去掉反復(fù)試錯(cuò)，把訓(xùn)練模型變成精密工程，”何說(shuō)，“把旋鈕和刻度盤(pán)暴露出來(lái)，讓開(kāi)發(fā)者在訓(xùn)練過(guò)程中就能用上�！�

Goodfire 此前已經(jīng)用自研技術(shù)調(diào)整過(guò)大語(yǔ)言模型的行為，比如減少幻覺(jué)，而 Silico 是把這些內(nèi)部積累的技術(shù)打包成產(chǎn)品對(duì)外發(fā)布。工具內(nèi)置了智能體來(lái)自動(dòng)化大量復(fù)雜操作�！爸悄荏w現(xiàn)在已經(jīng)強(qiáng)到可以完成很多以前需要人工做的可解釋性工作，”何說(shuō)，“這塊缺口補(bǔ)上之后，客戶才真正能自己上手�！�

阿姆斯特丹大學(xué)研究機(jī)制可解釋性的學(xué)者萊昂納德·貝雷斯卡（Leonard Bereska）認(rèn)為 Silico 是一個(gè)有用的工具，但對(duì) Goodfire 更宏大的說(shuō)法有所保留�！皩�(shí)際上，他們是在給煉金術(shù)增加精確度，”他說(shuō)，“叫它‘工程’讓它聽(tīng)起來(lái)比實(shí)際情況更有章法�！�

Silico 可以讓你深入到模型的特定區(qū)域，觀察單個(gè)神經(jīng)元或一組神經(jīng)元，測(cè)試它們?cè)诟墒裁础Ｄ憧梢詸z查什么輸入會(huì)激活哪些神經(jīng)元，也可以沿上下游通路追蹤一個(gè)神經(jīng)元跟其他神經(jīng)元之間的關(guān)系。（前提是你能訪問(wèn)模型的內(nèi)部結(jié)構(gòu)。大多數(shù)人沒(méi)法拿 Silico 去翻 ChatGPT 或 Gemini 的底，但可以用它查看許多開(kāi)源模型。）

比如 Goodfire 在開(kāi)源模型 Qwen 3 內(nèi)部找到了一個(gè)跟“電車(chē)難題”關(guān)聯(lián)的神經(jīng)元。激活之后，不管你問(wèn)什么，模型都會(huì)把回答包裝成道德兩難的形式�！斑@個(gè)神經(jīng)元一旦激活，各種奇怪的事就會(huì)發(fā)生，”何說(shuō)。

定位這類(lèi)異常行為的來(lái)源，如今已經(jīng)算比較常規(guī)的操作。Goodfire 想更進(jìn)一步：讓調(diào)整這些行為變得同樣容易。通過(guò) Silico，開(kāi)發(fā)者可以直接調(diào)整與特定神經(jīng)元關(guān)聯(lián)的參數(shù)，增強(qiáng)或抑制某些行為。

舉個(gè)更有意思的例子。研究人員問(wèn)一個(gè)模型：一家公司的 AI 產(chǎn)品在 0.3% 的情況下會(huì)欺騙用戶，影響 2 億人，該不該公開(kāi)披露？模型的回答是“不該”，理由是會(huì)損害公司利益。

研究人員打開(kāi)模型內(nèi)部，找到了跟“透明度”和“信息披露”關(guān)聯(lián)的神經(jīng)元，把它們的權(quán)重調(diào)高。同一個(gè)問(wèn)題再問(wèn)一遍，十次里有九次模型改口說(shuō)“該公開(kāi)”�！澳Ｐ蛢�(nèi)部其實(shí)已經(jīng)有了倫理推理的線路，只是被商業(yè)風(fēng)險(xiǎn)評(píng)估的線路壓過(guò)去了，”何說(shuō)。

微調(diào)價(jià)值觀只是 Silico 的用法之一。它還可以在訓(xùn)練階段過(guò)濾特定的數(shù)據(jù)，從源頭上避免某些參數(shù)被設(shè)成不理想的值。

比如很多模型會(huì)告訴你 9.11 大于 9.9。但 AI 為什么會(huì)犯這種錯(cuò)？用 Silico 打開(kāi)模型內(nèi)部就能找到原因：模型在訓(xùn)練時(shí)讀了大量《圣經(jīng)》文本和軟件代碼倉(cāng)庫(kù)，在這兩類(lèi)文本里，9.9 確實(shí)排在 9.11 前面（《圣經(jīng)》按章節(jié)編號(hào)，代碼按版本號(hào)遞增），模型內(nèi)部因此形成了一組“9.9 在 9.11 前面”的神經(jīng)元。做數(shù)學(xué)題時(shí)這組神經(jīng)元被誤激活了，就導(dǎo)致了錯(cuò)誤答案。找到了病因，開(kāi)發(fā)者就可以重新訓(xùn)練模型，讓它做數(shù)學(xué)時(shí)繞開(kāi)這些神經(jīng)元。

Goodfire 發(fā)布 Silico 的目的，是把以前只有少數(shù)頂級(jí)實(shí)驗(yàn)室才掌握的能力交給更多人。想自建模型或改造開(kāi)源模型的小公司和研究團(tuán)隊(duì)都是目標(biāo)用戶。工具將收費(fèi)使用，價(jià)格根據(jù)客戶需求逐案確定（Goodfire 拒絕透露具體定價(jià)）。

“如果訓(xùn)練模型能變得更像開(kāi)發(fā)軟件，就沒(méi)有理由不讓更多公司來(lái)設(shè)計(jì)符合自己需求的模型，”何說(shuō)。

貝雷斯卡同意這類(lèi)工具可以幫助企業(yè)構(gòu)建更值得信賴的模型，尤其在醫(yī)療和金融等安全要求極高的領(lǐng)域�！邦^部前沿實(shí)驗(yàn)室內(nèi)部已經(jīng)有了自己的可解釋性團(tuán)隊(duì)，”他說(shuō)，“Silico 武裝的是下一梯隊(duì)的公司——它們不用再自己去招一批可解釋性研究員了�！�

https://www.technologyreview.com/2024/10/28/1106251/this-ai-system-makes-human-tutors-better-at-teaching-children-math/