大洋彼岸的 OpenAI 遲遲沒有發(fā)布 GPT-5，一度讓業(yè)界懷疑 Scaling Law 是否已經(jīng)失效。然而，國內(nèi)多個(gè)團(tuán)隊(duì)卻接連推出重磅 AI 大模型，用事實(shí)證明 Scaling 依然有效，只不過并不是無腦堆硬件、堆算力。

Kimi k1.5的這次推出的大模型就是以推理能力見長的模型。

不知道你們有沒有注意到Recipe這個(gè)詞，在Kimi k1.5的技術(shù)報(bào)告提到了好多次，它的意思是「菜譜」，相當(dāng)于說把一道菜需要的原材料、炊具以及注意事項(xiàng)都明明白白告訴你了。

技術(shù)報(bào)告鏈接：

https://github.com/MoonshotAI/Kimi-k1.5/blob/main/Kimi_k1.5.pdf

可以說，一向閉源的Kimi這次的技術(shù)報(bào)告可以理解為「半開源」，就像把西紅柿雞蛋的做法一步步的列出來，你模仿它的方法即可，唯一不同的就是具體的操作差異。

比如你的火力大一點(diǎn)兒，鍋的材質(zhì)不同等等，并且Kimi k1.5的性能在好幾個(gè)方面的性能都已經(jīng)事實(shí)上的超過了OpenAI o1滿血版，可以說是含金量非常高的一次「半開源」。

特別是OpenAI o3，也就是在FrontierMath這個(gè)非常難的數(shù)學(xué)測(cè)試集上達(dá)到了變態(tài)成績(jī)后的幾周，被曝出暗中資助了這個(gè)比賽的丑聞。

如果o3是靠在數(shù)據(jù)集和答案上預(yù)訓(xùn)練出來的，那么它這種既當(dāng)運(yùn)動(dòng)員也當(dāng)裁判員的操作，也才拿到了25%左右的正確率，這只能證明o3僅是o1的特殊微調(diào)版，只是用來維持OpenAI紙面榮譽(yù)的工具。

那Kimi k1.5的含金量就直線上升了，long CoT在Math數(shù)學(xué)推理，Code編程能力以及Vision視覺多模態(tài)上的表現(xiàn)，4/6超過了最強(qiáng)的o1正式版模型。

Kimi k1.5還用了Long2short的方法，將Long CoT的能力遷移到Short CoT上，也在大多數(shù)的任務(wù)上達(dá)到了SOTA的水平，最牛的是在AIME的Pass@1實(shí)驗(yàn)中，效果遠(yuǎn)超其他幾家（第一個(gè)子圖藍(lán)色的Kimi獨(dú)樹一幟）。

特別是Long2short之后迭代出來的幾個(gè)short CoT，在下面這兩個(gè)數(shù)學(xué)數(shù)據(jù)集上的性能甚至超過了long CoT，可見CoT可以深挖甚至scaling的地方還有很多。

這些數(shù)據(jù)基本上表明了OpenAI o1滿血版的性能全面在Kimi k1.5上實(shí)現(xiàn)，更重要的是Kimi K系列的快速迭代能力，從初代 Kimi k0 math 到Top級(jí)別的 Kimi 1.5，就倆月多點(diǎn)，直接數(shù)學(xué)偏科到全科專精。

其中第一個(gè)長上下文是最近發(fā)布的幾個(gè)大模型的共性，因?yàn)槌醮鶯LM的思路簡(jiǎn)單直接，就是一問一答，單步操作；

但是后來發(fā)現(xiàn)這樣的單步操作對(duì)于比較復(fù)雜的問題，比如數(shù)學(xué)物理等需要更多邏輯思考且一步完不成的任務(wù)，就需要思維鏈（CoT）這樣的技術(shù)，相比起初代LLM，推理大模型可以將復(fù)雜的任務(wù)分成簡(jiǎn)單的單步任務(wù)進(jìn)行。

這樣的好處很直接，不過缺點(diǎn)也很明顯，那就是這些思考過程明顯是需要更多的“記憶力”，換到LLM大模型領(lǐng)域就是上下文長度了，理論上越長越好，最近發(fā)布的MiniMax-01就把上下文長度記錄拉到了400萬。

Kimi k1.5并沒有在極限上下文上做文章，而是將long context長度定為128K，然后用Partial Rollout的方法重復(fù)利用歷史記錄，而不是重新生成，這樣的策略從結(jié)果上表明非常有效。

再加上如果用過OpenAI o1的話，很多簡(jiǎn)單的問題o1會(huì)出現(xiàn)過度思考（overthinking）的現(xiàn)象，其實(shí)這也是一種對(duì)于計(jì)算能力的浪費(fèi)以及策略不夠優(yōu)化的表現(xiàn)。

菜譜也提到了這個(gè)點(diǎn)，他們采用了長度懲罰（Length Penalty）的措施，倒逼大模型跟人類對(duì)齊，畢竟人類不會(huì)對(duì)一個(gè)簡(jiǎn)單問題思考6分鐘。

最后，我特意看了看Kimi微信公眾號(hào)對(duì)于自己新模型的介紹，開頭的一句話特別契合Kimi k1.5這個(gè)模型。

簡(jiǎn)單的方法在很多時(shí)候被認(rèn)為是取巧的，但事實(shí)支配上人類社會(huì)以及整個(gè)自然界運(yùn)轉(zhuǎn)的規(guī)律都是非常簡(jiǎn)潔且優(yōu)雅的，既不存在無限資源這種美夢(mèng)，也沒有出現(xiàn)普遍的窮思竭慮。

總的來說，Kimi k1.5的這次更新，無疑將中國的大模型和國外最頂尖的OpenAI差距拉到了幾乎同一個(gè)水平線，同時(shí)這次的「半開源」更是給AI 大模型社區(qū)注入了一些「做菜秘訣」，相信這些東西可以讓整個(gè)大模型社區(qū)的進(jìn)化速度更進(jìn)一步。