傳說中的DeepSeek天才少女、雷軍曾用千萬(wàn)年薪挖角的羅福莉，近日在X平臺(tái)發(fā)布了她的首條推文，分享了她帶領(lǐng)MiMo團(tuán)隊(duì)打造Agent時(shí)代全棧模型的心路歷程。

從Chat到Agent：一次"安靜的伏擊"

羅福莉?qū)⑦@次轉(zhuǎn)型稱為"安靜的伏擊"——并非刻意策劃，而是從Chat到Agent的范式轉(zhuǎn)變發(fā)生得太快，快到連團(tuán)隊(duì)自己都幾乎不敢相信。

她透露，改變一切的是第一次體驗(yàn)復(fù)雜Agent腳手架的經(jīng)歷。她用的詞是"orchestrated Context"（編排過的上下文），也就是現(xiàn)在比較火的Harness Engineering。

"第一天就被震驚了，"她寫道。隨后她試圖說服團(tuán)隊(duì)去用，但沒成功。于是她下了一個(gè)硬性命令：

MiMo團(tuán)隊(duì)里，明天對(duì)話數(shù)不到100條的人，可以辭職了。

這個(gè)管理風(fēng)格相當(dāng)激進(jìn)，但有效。一旦團(tuán)隊(duì)的想象力被Agent系統(tǒng)的能力點(diǎn)燃，這種想象力就直接轉(zhuǎn)化成了研發(fā)速度。

提前押注的架構(gòu)優(yōu)勢(shì)

羅福莉透露，1T底座模型幾個(gè)月前就開始訓(xùn)練了，當(dāng)時(shí)的目標(biāo)是長(zhǎng)上下文推理效率。采用了兩大核心技術(shù)：

Hybrid Attention機(jī)制（混合注意力）：不讓所有token都互相關(guān)注，而是讓一部分用全局注意力、一部分用局部注意力，大幅降低計(jì)算成本。

MTP推理層（Multi-Token Prediction）：一次預(yù)測(cè)多個(gè)token而不是一個(gè)一個(gè)生成，推理延遲和成本都大幅下降。

這些架構(gòu)決策在當(dāng)時(shí)并不時(shí)髦，但它們恰好成了Agent時(shí)代的結(jié)構(gòu)性優(yōu)勢(shì)——支持百萬(wàn)token上下文窗口。

為什么MiMo團(tuán)隊(duì)能這么快

羅福莉在做DeepSeek R1的時(shí)候親眼見證過，她的總結(jié)是：

— 基座與基礎(chǔ)設(shè)施研究周期很長(zhǎng)。你需要在它產(chǎn)出回報(bào)的一年前就有戰(zhàn)略定力。

— 后訓(xùn)練的敏捷性是另一種能力：靠產(chǎn)品直覺驅(qū)動(dòng)評(píng)估，壓縮迭代周期，及早捕捉范式轉(zhuǎn)換。

— 還有那些不變的東西：好奇心、敏銳的技術(shù)直覺、果斷的執(zhí)行力、全力以赴。

以及一樣很容易被低估的東西：對(duì)你正在為之構(gòu)建的世界，發(fā)自內(nèi)心的熱愛。

開源承諾

羅福莉在推文中確認(rèn)：模型會(huì)開源的，等模型穩(wěn)定到值得開源的時(shí)候。

原文來源：X @_LuoFuli / 寶玉@dotey