2024年快要結(jié)束了，大模型有什么方向驗證了PMF？

AI Coding（AI 編程）肯定算一個。

從2024年年初起，不僅Devin、Cursor、Bolt.new等AI Coding產(chǎn)品不斷刷屏，各家初創(chuàng)公司的融資也節(jié)節(jié)攀升。

截止目前，這一領(lǐng)域至少跑出了Poolside、Cognition、Magic、Codeium、Replit5家獨角獸。而AI Coding的"老大哥"，GitHub Copilot 已擁有130萬名付費開發(fā)者用戶、7.7萬個機構(gòu)用戶，收入也暴漲至 3 億美元。

在國內(nèi)，AI Coding同樣成為必爭之地。

不論是阿里的通義靈碼、字節(jié)的MarsCode，還是百度的文心快碼，押注AI的巨頭幾乎人手一個AI Coding。創(chuàng)業(yè)公司中，智譜AI、硅心科技、Gru.ai、新言意碼同樣活躍。

「四木相對論」最近深度交流過的「AIGCode」（蔻町智能），也是一家專注AI Coding的創(chuàng)業(yè)公司。

AIGCode于今年正式成立，核心團隊20余人，來自清華、微軟、騰訊、字節(jié)、百度、華為等一流高校和企業(yè)。

這家公司的核心團隊，對創(chuàng)業(yè)并不陌生。

AIGCode的創(chuàng)始人兼CEO宿文，博士畢業(yè)于清華大學，曾在「數(shù)益工聯(lián)」擔任COO。更早前，他在華創(chuàng)資本、嘉實投資做投資。

聯(lián)合創(chuàng)始人兼CTO陳秋武是算法專家。他曾在微軟、騰訊、百度等公司從事算法與架構(gòu)工作。

創(chuàng)立AIGCode前，陳秋武在多個垂直行業(yè)公司擔任算法負責人和CTO，重點進行大模型落地。

*宿文和陳秋武

在宿文和陳秋武的眼中，AI Coding的迅速火爆在意料之中。

"Coding是最適合AGI的路。如果Coding都無法實現(xiàn)AGI，其他領(lǐng)域更不可能。"宿文告訴「四木相對論」。

陳秋武補充，在嘗試落地垂類模型后，他認為絕大多數(shù)的垂類模型受制于行業(yè)Know-How和價值觀，無法達成貼近AGI的效果，但Coding由于天生適配到了最多的大模型人才，是最適合AGI的切入點。

和Coding這個切入點一起確定的還有，他們要訓練一個自己的通用大模型，并基于這個模型提供AI Coding產(chǎn)品。

是否要在代碼領(lǐng)域訓練通用模型，是一個非共識。

目前在行業(yè)中，存在不訓練模型直接做應用、訓練垂直代碼模型和訓練通用大模型三種路徑。

Cursor，是基于Claude 3.5 Sonnet直接做應用的代表；而Magic、Poolside，則不想依賴其他LLM，開始在代碼數(shù)據(jù)中訓練自己的代碼模型。

AIGCode想走的是第三條路，也就是訓練一個通用大模型，并以Coding為切入點打開局面。

"生成代碼的模型，本質(zhì)上應該是以AGI為目標的。這個模型里要有所有的數(shù)據(jù)，而不是只有代碼數(shù)據(jù)。它們的底層都是 AGI。"宿文認為，現(xiàn)在的通用大模型存在幻覺、學習能力不強等問題，這也是阻礙AI Coding和AGI落地的原因之一。

也就是說，為解決通用大模型現(xiàn)在的問題，并提供最能證明AGI價值的Coding產(chǎn)品，AIGCode選擇訓練自己的通用大模型。

為了實現(xiàn)這個目標，他們還對模型的網(wǎng)絡架構(gòu)進行創(chuàng)新。

目前，AIGCode已經(jīng)訓練出基于Transformer和推薦算法PLE網(wǎng)絡架構(gòu)的錫月大模型。

這一模型的創(chuàng)新處在于，將Transformer的注意力機制Attention和前向?qū)覨FN，轉(zhuǎn)化為多專家混合時能顯著區(qū)分開不同專家并針對具體問題合理協(xié)同的架構(gòu)。

這種能對多個專家進行解耦，并提取專家間在不同場景任務下協(xié)作關(guān)系及自身特征的模型，能達成的效果是：

讓大模型的預訓練更加靈活和高效，擁有更好的學習機制，同時減少模型回答問題、執(zhí)行任務時的"幻覺"。

"Mistral的創(chuàng)新在于把MoE架構(gòu)和Transformer做結(jié)合。但各類樣本學習程度不統(tǒng)一的問題，在推薦算法領(lǐng)域是 MMoE、CGC、PLE 這些網(wǎng)絡架構(gòu)解決的。"陳秋武說。

他對比，MoE架構(gòu)的模型類似于專家分診。在遇到任務的時候，MoE找到概率最大的答案，再把答案分發(fā)出去。但錫月大模型是專家會診模式，也就是把專家的能力能力定位到某個病癥上，針對這個問題動態(tài)合理地配置多專家協(xié)同權(quán)重的網(wǎng)絡。

"相當于給模型一個決策機制，這個決策機制相當于一個中控。中控會把任務分發(fā)給對應的功能模塊支持工作。只有這樣，才能確保模型能回答正確。"陳秋武總結(jié)。

目前在代碼方面，AIGCode 7B 錫月大模型已經(jīng)能與 GPT-4o 等主流模型媲美。

*AIGCode的模型架構(gòu)

基于錫月大模型的產(chǎn)品——AutoCoder在11月21日發(fā)布內(nèi)測。

（申請鏈接https://www.aigcode.net）

在兩位創(chuàng)始人看來，這是全球代碼生成領(lǐng)域首個LLM-native "autopilot"自動編程產(chǎn)品，而非copilot或者coworker。用戶不需要任何代碼基礎(chǔ)，就能端到端生成應用。

"我認為程序員最終肯定會被'干掉'。"宿文表示，這款產(chǎn)品此時的目標用戶是產(chǎn)品經(jīng)理，幫助他們在不寫代碼的情況下實現(xiàn)軟件產(chǎn)品創(chuàng)意。

再往遠看，干掉程序員只是過程，不是最終目的。AIGCode的遠景目標是，讓每個人都能通過自己的產(chǎn)品，擁有屬于個體的Personal APP。

這個Personal APP的價值在于，由于滿足個性化需求，它能擁有比通用APP更強的流量黏性，成為AI時代Super APP的雛形。

"老的互聯(lián)網(wǎng)是一個平臺，只提供了鏈接本身，并不生產(chǎn)內(nèi)容。如果個體能去生產(chǎn)內(nèi)容，擁有Personal APP，整個生態(tài)就會完全不一樣。"陳秋武認為，Personal APP會解放內(nèi)容生產(chǎn)的效率，創(chuàng)造一個新的生態(tài)。

"這些不是可能性，是必然性。我們100%確定——Auto-Coding is AGI, Personal App is the End."

以下是「四木相對論」和AIGCode團隊的對話實錄：

「四木專訪」是我們推出的創(chuàng)業(yè)者對談欄目，如果你也是AI創(chuàng)業(yè)者，有故事、觀點想和大家分享，歡迎聯(lián)系我們～

談公司：不只做AI Coding，而是在做AGI

四木相對論：首先的問題，是我們?yōu)槭裁催x擇AI Coding這個方向？

陳秋武：Foundation Model訓練完之后，還是要面向應用，而現(xiàn)在的基礎(chǔ)模型和應用效果之間，還存在比較深的Gap。垂直模型也都沒跑出來，因為需要的Know-how太多，很難達到理想效果。

我們覺得，實現(xiàn)AGI還是需要有閉環(huán)，這個閉環(huán)就是模型價值和應用價值之間的鏈路要通暢。我們自己本身是資深的程序員，團隊大多是技術(shù)背景的情況下，Coding這個鏈路就可以自洽。不像其他的垂類，很難自洽。

現(xiàn)在很多垂直模型存在上限，比如GPT4在注冊稅務師考試上已經(jīng)有很好的水平。但目前的這個水平，就是最好的水平，不會再有效果上的提升，因為稅務行業(yè)又不可能要求OpenAI配合做稅務方面的優(yōu)化。而Coding不一樣，我們程序員本身就是Coding領(lǐng)域的專家，從人才、經(jīng)驗、場景等等方面的適配度來看，這個領(lǐng)域是天然適合大模型展示AGI價值的。

四木相對論：AI Coding這個方向上的選手現(xiàn)在非常多，我們會有哪些不一樣的事情？

宿文：從GPT3.5開始，大家很熱情地去投整個大模型賽道。從算力、模型、應用層投進去的資金和聰明的腦袋很多，但今天來看，我們想要的、想象中的可能性都沒有實現(xiàn)。

一個核心點是，目前能夠看到的最好的模型，o1也好，Claude3.5也好，在代碼生成上的支持還是遠遠不夠的。尤其只做補齊肯定是不夠的，我們認為，代碼的生成是直接把程序員最終替代掉?；蛘哒f，把程序員在很大一部分場景里替代掉。

基于這個目標再去看，現(xiàn)在的模型有很明顯的短板，不管是上下文的長度，還是整個網(wǎng)絡結(jié)構(gòu)的學習能力，都還有不足。Scaling Law的暴力出奇跡，不是唯一的路。大家在網(wǎng)絡結(jié)構(gòu)和上下文的技術(shù)點上，還有很多工作可以去做。

我們的團隊選擇去解決這些問題。但解決這些問題就需要一個很好的場景，一個足夠適合大模型落地的行業(yè)去培養(yǎng)這個模型。看下來代碼是最合適的。

四木相對論：所以整個邏輯是，AIGCode要做一個更好的通用大模型，但選擇Coding的場景去落地。

宿文：我們的核心邏輯是看事情的終局。大家都想依賴大模型去構(gòu)建一個產(chǎn)品，但當我們發(fā)現(xiàn)不論是哪個模型都沒法解決問題的時候，我們就決定自己做。

另外還有一個誤區(qū)是，很多人對垂直大模型和代碼大模型的認知不對。Pre-Train層面的模型都是 AGI，不是垂直模型。

還有人說，現(xiàn)在不需要一個用代碼訓練出來的代碼大模型。這個觀點也是有誤區(qū)的，因為生成代碼的模型不代表它的訓練是用代碼數(shù)據(jù)去訓練的。生成代碼的模型，本質(zhì)上還應該是 AGI的，是多專家的。這個模型里會有所有的數(shù)據(jù)，只是它最終的應用場景被叫做垂直應用。垂直模型的底層都是 AGI。

四木相對論：本質(zhì)上，AIGCode雖然叫"Code"，但就是在做一個通用大模型。

宿文：對。

模型：自研架構(gòu)，提升預訓練效率和任務精準性

四木相對論：AIGCode的模型選擇了一個新的架構(gòu)，原因是什么？

陳秋武：從一個模型的訓練來說，它的網(wǎng)絡結(jié)構(gòu)和樣本是最關(guān)鍵的。模型的效果，并不是擁有全量的數(shù)據(jù)、用最大的算力就能暴力出奇跡。最開始去訓練模型，很多層面還要依賴模型對樣本的理解。高質(zhì)量的樣本并不是海量的數(shù)據(jù)，這是兩個不一樣的東西。

目前的通用大模型有一個比較致命的問題，OpenAI已經(jīng)有了足夠的資源，也有足夠的樣本。Scaling Law的兩個最重要元素，算力和數(shù)據(jù)樣本，在全世界范圍內(nèi)它是最好的。但非常明確，就算是OpenAI的這兩條鏈路，現(xiàn)在也撞到了南墻。

13B以上的模型，邏輯能力沒有提升，AGI的能力沒有提升。它只是參數(shù)大了，能夠記得的東西多了，整個概率鏈路上記住的特定場景知識更多了，僅此而已。模型的邏輯能力并沒有提升，有可能只是幻覺抑制能力提升了。

目前行業(yè)里的第一個共識是樣本已經(jīng)達到了上限，特別是高質(zhì)量的樣本生產(chǎn)不出來?；蛘哒f，它的增長速度遠低于算力增長的速度。兩者不匹配意味著整個人類AGI的進度受限。

我們很早就已經(jīng)確定了一個方向，就是在樣本、算力固定的情況下，提高大模型的學習能力。

現(xiàn)在樣本中的知識，其實沒有被已知的所有大模型充分學習到。比如現(xiàn)在去問一個大模型一篇Paper里的內(nèi)容，Paper里有非常復雜的應用邏輯和理論邏輯，基本上模型是一問三不知的。

大模型從概率層面給出答案，熱門樣本的推理效果會很好。原因是在所有的概率分布里面，它是最高頻出現(xiàn)的。低頻的樣本，是小概率的，大模型就學不進去了。

這個問題是網(wǎng)絡結(jié)構(gòu)導致的。Transformer的網(wǎng)絡結(jié)構(gòu)其實就分為兩個方面，一個是Multi—Head Attention，一個是 FFN。

舉個例子，比如有一句話是"這里有個花園"，到了"花"這個詞要預測"園"這個Token的時候，我們會計算前面所有 Token的概率，也就是預測"園"這個字的權(quán)重概率是多少，這就是Multi—Head Attention做的事情。

FFN只是把概率過一遍。"花"后面可能是"花朵"，可能是"花園"，"花園"的概率是最大的，所以它排在了最前面。其實所有大模型的網(wǎng)絡系統(tǒng)就這么簡單。

雖然在預訓練上下文窗口內(nèi)有注意力機制帶權(quán)重的，但跨多個4K(~128K)預訓練上下文窗口間并無權(quán)重控制。那這樣必然導致一個問題，就是高頻的、比重比較大的那些樣本排在前面，長尾的問題——一般難的問題都是長尾的，這些難的、長尾的問題就學不進去。

所以我們要解決的問題是，把這些難的、容易的、高頻的、低頻的問題做正確地解耦。

四木相對論：我們強調(diào)的PLE（Progressive Layered Extraction，漸進式分層提?。┘軜?gòu)，是在解決這個問題嗎？

陳秋武：是的。我舉個最簡單的例子，一個桌子上有好多東西，現(xiàn)在雜七雜八、沒有條理地放著，但是更高效的方式是什么？是小的東西歸置在一個區(qū)域，體積比較大的放在另外一個區(qū)域，進行合理的分區(qū)。就像人腦一樣，它有聽覺區(qū)域，味覺區(qū)域、嗅覺區(qū)域，有不同分類。

這樣做的好處，第一是可以規(guī)避蹺蹺板的問題，也就是避免某個知識因為樣本比例小而學不到。而且它因為能合理的分工，把正確的任務和學到的東西分離開，學習的效率就上升了。下次模型學到這塊的時候，發(fā)現(xiàn)已經(jīng)學過了，就跳過。

這也就是通過網(wǎng)絡結(jié)構(gòu)的改變，提高模型的學習能力。

再講專家解耦，因為每一個專家會對應到相關(guān)領(lǐng)域的應用效果，這會提供從預訓練到模型在某特定領(lǐng)域應用的連接點。這個連接點可以提供一個新的范式，就是網(wǎng)絡本身的利用率。

模型在反向傳播更新權(quán)重的時候，你會發(fā)現(xiàn)有的權(quán)重、有的神經(jīng)元的更新幅度非常小，有的幅度非常大。浮動大的這部分神經(jīng)元是被激活的，那就會得到一個客觀的數(shù)學數(shù)據(jù)，就是神經(jīng)元的平均激活率。這個平均激活率和樣本的輸入以及最后的應用之間，可以用下游任務效果的好壞，建立一個線性關(guān)系。

這個線性關(guān)系，就可以評估我們所有投入的算力以及樣本對于項目任務的好壞。這個鏈路必須要專家解耦才能實現(xiàn)。

四木相對論：如果從具體的效果上來總結(jié)，你覺得PLE的架構(gòu)解決了什么問題？

陳秋武：大模型其實有三個問題導致了幻覺。第一，知識在模型學習的時候，沒有學到。第二，是沒有邏輯鏈路。第三是雖然邏輯鏈路鏈對了，但是組織關(guān)系錯了。等于任務和模型鏈接起來了，但是它并不能回答這個問題。

就像地圖上的導航，導航從a點到b點，首先要有a點到b點的信息，如果沒有這個信息是完全不行的。知識在不在這個模型里，通過PPL（PPL指模型的困惑度，PPL值越低，模型對數(shù)據(jù)的理解越好）就能算出來。但知識鏈路在不在模型里，這個問題比較復雜。

知識的鏈路在不在，和專家領(lǐng)域的能力有關(guān)系。邏輯其實是專家領(lǐng)域，有因果關(guān)系，有遞進關(guān)系等等。假設(shè)一個回答，需要用到某個邏輯鏈接，那這個邏輯鏈路的樣本是什么？如果缺失的話，你要回溯、定位到這個問題，再去補全能力。這就會涉及到專家要解耦出來，單獨摘出來去訓練完，再塞回去。

只有各個領(lǐng)域的專家解耦才有可能解決這個問題。它不是微調(diào)、對齊能夠解決的，只能從預訓練的層面去解決。

解耦的預訓練會有很多好處，假設(shè)這個問題被定位到是由于缺少了一個遞進的邏輯關(guān)系導致的，那么我們用相應的樣本，塞進去解決這個問題，下游任務也會解決，這就形成一個很好的閉環(huán)。

四木相對論：也就是說，這個架構(gòu)的模型能靈活地進行預訓練，也能提升模型的學習能力和任務的實現(xiàn)精準性。提到專家，這個架構(gòu)和MoE的區(qū)別是？

陳秋武：MoE是1991年出現(xiàn)的Paper。它類似醫(yī)院的分診制，比如說你去醫(yī)院掛個號，它會判斷然后讓你去發(fā)熱門診或者其他門診。

如果再拿桌子上放的東西對比，MoE記下來的是放東西的概率鏈，下次遇到任務的時候，模型會找到最大概率的內(nèi)容，然后再分發(fā)給出去。所以它在預訓練的時候，成本并沒有降低，也沒有結(jié)構(gòu)化，內(nèi)容還是隨便亂放的，但是推理的時候只要找到路徑，就把它附近的專家激活，推理的成本就下降了。

Mistral的貢獻，就是把1991年的MoE和大模型做了結(jié)合。而蹺蹺板問題，在推薦算法領(lǐng)域是 MMoE、CGC、PLE 這些網(wǎng)絡架構(gòu)解決的。

落到區(qū)別上，我們的錫月大模型不僅是一個分發(fā)、分診。我們是專家會診的方式，把專家的能力定位到病癥上，針對這個問題單獨有一個網(wǎng)絡。也就是給模型一個決策機制，這個決策機制相當于一個中控。中控會把任務分發(fā)給對應的功能模塊支持工作。只有這樣才能確保模型能回答正確。

MoE是簡單的概率分發(fā)，而我們是神經(jīng)元的復雜網(wǎng)絡結(jié)構(gòu)，神經(jīng)元里存儲的是不同專家間的關(guān)系，專家自己的信息也可以保存。我們的架構(gòu)里，各個專家之間，比如說代碼專家和自然語言專家之間的互相的關(guān)系，就保存在Gating的 NetWork里面，而不僅僅是個分發(fā)鏈路。這里面是有復雜的邏輯關(guān)系的，它實現(xiàn)的核心是把專家解耦開。

專家間的關(guān)系，以及專家在回答當前這個問題的時候占的比重是多大，這兩個問題是 MoE 完全沒辦法解決的。PLE 在分發(fā)機制那層就有了自己的決策機制，會針對當前輸入語境，動態(tài)調(diào)整不同專家的權(quán)重。

四木相對論：那么在實際效果上，這種方式對比之前會有多大的區(qū)別？

陳秋武：我說幾個實際的，比如預訓練的價格。預訓練的過程當中，大家訓練一次大模型可能幾百萬美元或者幾十萬美元打底?，F(xiàn)在中間如果某一個小的專家級，比如自然語言或者說代碼專家出現(xiàn)了問題，我們可以把它摘出來，修復完了再放上去繼續(xù)預訓練，而不用出現(xiàn)問題后從頭開始預訓練。

而且，7B到13B，13B到33B的擴展預訓練，在這個架構(gòu)里專家解耦后的網(wǎng)絡是可以被繼承下來。因為在這個模式里專家是相互獨立的，這就好像，一個人跑了10公里，要再跑20公里的時候，就能接著10公里繼續(xù)往后跑，而不是說像現(xiàn)在一樣的回到最起點再重新再跑一遍。這兩個因素疊加在預訓練的價格和迭代加速度的差距可能是三倍至十倍甚至更多。

四木相對論：這是對預訓練的效果，那么對實際任務的執(zhí)行會有什么效果呢？

陳秋武：從實際使用的效果來說，剛才講的排查問題也是非常有用的。如果你遇到一個問題，但不知道這個問題的根源是什么，那何談解決。

我們了解到，Claude有個核心團隊正在做模型的可解釋的問題。這個方案其實是可解釋的一個非常重要的鏈路，但我們已經(jīng)做完了。這對于提升模型的準確率是非常重要的。

我們現(xiàn)在發(fā)布了7B的模型，有榜單的成績。其實綜合性能已經(jīng)屬于最好的，因為它是7B，其他差不多的模型可能有400B。

*benchmark展示：粗體為最好，下劃線為第二名

四木相對論：做這個新模型，AIGCode遇到的難題是什么？

陳秋武：網(wǎng)絡結(jié)構(gòu)的設(shè)計和落地，需要的實驗的成本是非常高的。每一次實驗完的下一步優(yōu)化有1000種可能性，其中99%以上的可能性都是錯的。我們要用實驗的方式根據(jù)實驗結(jié)果數(shù)據(jù)分析歸納去推導出正確的路徑，這也是為什么 Mistral在2023年中能拿到那么大一筆投資的原因。

這個領(lǐng)域其實人才很稀缺，有大型互聯(lián)網(wǎng)公司的核心推薦系統(tǒng)，一天上億收入的體量，但模型組只有20、30人。而在這里面能做出核心效果的也就2、3人。業(yè)內(nèi)不管是國外還是國內(nèi)，都很難找到合適的人。

四木相對論：這個模型的訓練用了多久？

宿文：理論上我們可以做到20臺國產(chǎn)GPU機器，160張卡，花費25天。但實際上我們訓練了兩個月多一點，因為所有的實驗，包括前置的小樣實驗，還有中間網(wǎng)絡各方面的故障，以及國產(chǎn)分布式平臺的性能，我們都需要去處理。

我們的訓練速度在業(yè)內(nèi)是別人的兩三倍。而且，有些分布式訓練在業(yè)內(nèi)也沒有先例，我們花了三周時間就解決了這個問題。

談市場：AI Coding很多人拿資源打假賽

四木相對論：怎么看AI Coding大家的不同路線？

宿文：現(xiàn)在主要有兩條大路徑。一個是現(xiàn)在卷得要死要活的Copilot路線，GitHub和Cursor都在做。這種大家也都用通用模型實現(xiàn)，要么用自己的，海外用Claude 3.5做效果最好。大廠的一些產(chǎn)品也是一樣，核心邏輯是在一個IDE里面去給程序員做代碼補齊。

這是一個存在的場景、存在的用戶和存在的問題。大家在用已經(jīng)存在的模型，提供一個最短平快的方案。但這里面從產(chǎn)品交互上也有很高的門檻，也就是進去做容易，但做出來也難。Cursor也在后面只是喝湯而已，距離吃肉的Copilot還有好幾個身位。

這個方向還有一個很難的點，就是需要有 IDE。微軟就有IDE，所以這個方向可以留給大廠去做，對初創(chuàng)公司比較難。

另外一個路徑，就是我們認為的AutoPliot形態(tài)。

我們來想想AI Coding的終局是什么，不是寫代碼，而是為了呈現(xiàn)一個應用。單純秀一萬行代碼，So what？有什么意義？誰在提這些需求，是產(chǎn)品經(jīng)理。

所以，我覺得代碼應該端到端地去做生成，為用戶把使用門檻大幅度降低，讓大家變成能夠提需求，就實現(xiàn)效果的人。但是在現(xiàn)階段，我們認為的用戶，首先是一個專業(yè)的產(chǎn)品經(jīng)理。因為我們也不指望，此時就會很多人腦海里突然蹦出很多需求，這不會的。但是當有人有需求，要去消費這個軟件，需要個性化應用的時候，就都可以用。

也就是說，我們希望提供一個產(chǎn)品，可以讓所有代碼的推理成本幾乎為零，讓個性化應用的市場打開。目前的APP都是通用市場，普通人做不了自己的APP，做一個程序員還是有門檻，所以大家沒法實現(xiàn)個性化應用。

讓個體實現(xiàn)個性化應用，這是我們眼中的終局。所以我們繞開IDE生態(tài)，直接在外部端到端地做交付。但是目前模型能力不夠，所以我們也做模型。

四木相對論：有沒有某一個產(chǎn)品或某個公司是我們現(xiàn)在重點關(guān)注的？

宿文：其實我們很關(guān)注Poolside和Magic，因為這兩家看起來真的在自己做模型。Cursor雖然也說要自己訓5B~7B的模型，但這個在代碼領(lǐng)域也不夠用。而且，它都用到Claude3.5了，就算之后說要用開源的Llama訓練，效果還是 PK不了Claude的模型。

Devin最開始也是基于GPT4，一直到現(xiàn)在產(chǎn)品出不來、見光死?，F(xiàn)在它又要自己訓模型，但一看這團隊也不是訓模型的背景。Poolside和Magic這兩家看起來是想好了。

四木相對論：Magic在模型上強調(diào)了長上下文。

宿文：長上下文也是一個當下的很大的痛點，我們也在解決，有自己的方案，目前做了4M級別。我們希望奔著T級別去做，這是一個很大的創(chuàng)新。Magic幾個月前的模型，說做到了100M上下文，但行業(yè)內(nèi)波瀾不驚，因為是Mamba架構(gòu)做的，這個架構(gòu)不好實現(xiàn)。

很多公司都說要做代碼模型，但可能做著做著遇到問題，停滯了。所以要看大家做模型，到底是架構(gòu)上創(chuàng)新還是有其他創(chuàng)新，還是說也囤了10萬張H100。這個領(lǐng)域看起來很熱鬧，但全球能真能出來，有用戶和客戶的很少。

陳秋武：之前我們開玩笑說，這個領(lǐng)域來了一堆非專業(yè)的人，拿了很多資源在打假賽。AIGCode也不會捏軟柿子PK，我們就是和Llama、DeepSeek、Claude的大參數(shù)模型去比。

四木相對論：怎么看DeepSeek？有不少人好評它的代碼能力。

宿文：它也不應該稱為代碼模型。它和我們一樣，底層都是 AGI，決定了在代碼場景的效果不錯。DeepSeek是真正在做事情的團隊，但模型的技術(shù)架構(gòu)方面，我相信我們走的更超前一些。

當然，他們也要在Coding賽道做一些插件，更像代碼補全。從這個角度，我們做的產(chǎn)品形態(tài)上又完全不一樣。

干掉程序員，讓Personal/Super APP長出來

四木相對論：現(xiàn)在很多人已經(jīng)在用AI Coding產(chǎn)品。尤其一些大廠，甚至還定了內(nèi)部消耗的KPI。我們會有后發(fā)的劣勢嗎？

宿文：我們和其他家的定位不太一樣。我們是給產(chǎn)品經(jīng)理用的，第一天就不服務程序員，和其他服務程序員的產(chǎn)品是沒有任何競爭的。

四木相對論：但產(chǎn)品經(jīng)理真的想去卷本來屬于程序員的工作嗎？

宿文：產(chǎn)品經(jīng)理需要畫N個圖，寫幾十頁的文檔，好不容易把程序員請到會議室里溝通需求，再被他們噴得體無完膚。產(chǎn)品經(jīng)理也需要工具滿足自己的想象力，我覺得之后程序員肯定會被淘汰的。

我們定義自己的產(chǎn)品是產(chǎn)品經(jīng)理工作流的一部分，可以讓他的工作形態(tài)發(fā)生一些轉(zhuǎn)變。舉一個簡單例子，如果企業(yè)今天去做To B業(yè)務，客戶需要PoC，這個時候項目經(jīng)理，售前、產(chǎn)品經(jīng)理都可以通過我們的產(chǎn)品把這個事情做完。這種場景非常多。

四木相對論：現(xiàn)在AIGCode的產(chǎn)品進展如何？

宿文：現(xiàn)在的一些簡單應用，包括軟件原型的Demo、PoC我們已經(jīng)可以做到。我們會先用產(chǎn)品實現(xiàn)前端，后面再把后端需要的、帶數(shù)據(jù)和邏輯的功能加進去。

我們創(chuàng)業(yè)還不到12個月，還有很多之后的計劃。如果軟件原型能做下來，我們就能夠生成最終可被交付的東西，那時程序員就能被完全替代。

陳秋武：需求是海量的。如果大家只用自然語言的方式提出一個需求，就有一批工具幫忙把軟件生成好，一鍵部署到服務器上，那么很多場景都能被釋放出來。當別人還在做一個工具時，我們在做的事是做生成批量工具的平臺。

我們在創(chuàng)造供給，沒有在一個存量市場做事情，這件事是可以解放生產(chǎn)力的。

從技術(shù)進展來講，Web1.0是導航，2.0搜索，3.0是推薦，改變的是信息流轉(zhuǎn)的速度，傳播的效率。上一代的互聯(lián)網(wǎng)產(chǎn)品提升供需的鏈接效率，本身不提供內(nèi)容，但是在大模型的時代，大概率大家在提供平臺的同時，會提供生產(chǎn)內(nèi)容的服務。

四木相對論：這里的內(nèi)容指的是什么范疇？

陳秋武：比如虛擬陪伴的聊天功能，是模型生成的，不是真的有人和你聊天。同樣，代碼也是生成的。從生產(chǎn)力的角度來看，這種內(nèi)容生產(chǎn)的質(zhì)量和速度，是下一代互聯(lián)網(wǎng)、技術(shù)迭代最核心的鏈路。

成為一個程序員現(xiàn)在還有門檻，寫代碼相當于拿到二級電工證才能去操作的一個東西。所以，APP的生產(chǎn)受限于8000萬或者9000的萬的群體。但每個人其實都有自己的軟件需求，因為他們有個性化內(nèi)容消費的需求。

我們的產(chǎn)品，如果能夠加速每個人內(nèi)容生產(chǎn)的效率和質(zhì)量，那么內(nèi)容供給這一側(cè)就會井噴。所以，我們要在這個鏈條上加速。這是我們的邏輯，這個產(chǎn)品不會給程序員用，而是給有一些業(yè)務邏輯的人去用。

四木相對論：關(guān)于這個目標，我們設(shè)計了怎樣的計劃表？

宿文：APP的開發(fā)落地是一個非常長的鏈條上，從需求的提出到demo，再到最后落地開發(fā)，產(chǎn)品經(jīng)理和研發(fā)一定先要和業(yè)務團隊去溝通落地。前端做完，還包括后端數(shù)據(jù)庫、運維、上線，最后還有反饋和運營。這么長的一個鏈條，如果后面的內(nèi)容全部砍掉了，整個供給效率和內(nèi)容本身都是新的形態(tài)。

這是一件有顛覆意義的事情，我們沒法在這個階段，也就是公司成立不到一年就把它干完，要不就是騙人，要不就意味著門檻很低。

我們會有一個周期，樂觀預測可能需要一年到一年半的時間，把整個大鏈路，也就是整體的APP交付這件事上基本跑通，這是我們的預期。

在最近的一個季度內(nèi)，我們在產(chǎn)品發(fā)布之后會快速拿到內(nèi)測，通過用戶數(shù)據(jù)決定我們往哪個方向迭代。還有一個是付費點，這里會和Figma很像，是給專業(yè)的用戶用，也就是生成完代碼，進行部署的時候需要付費。之后，我們也會做Global市場。

四木相對論：看到我們把代碼生成這件事分成了L1～L5?，F(xiàn)在我們在哪個階段？

陳秋武：L1類似低代碼平臺。L2是輔助程序員，讓他們根據(jù)提示生成代碼。L3能端到端地完成編程任務，不需要程序員介入。L4是多端自動協(xié)作，讓大家能直接把想法變成軟件或產(chǎn)品。

現(xiàn)在我們是L3的初始階段。

L5是最終目標。是說有了產(chǎn)品，還要自動化地把它部署到所有的運營渠道里，再根據(jù)流量的反饋，自動生成多個相應的版本去試下一個階段，一直到真正被市場或者流量校驗過的產(chǎn)品出現(xiàn)。

四木相對論：如果這個愿景實現(xiàn)，感覺互聯(lián)網(wǎng)大廠不需要存在了，至少不需要那么多人組成的大廠了。

陳秋武：我們要問自己增量價值在哪里?，F(xiàn)在很多能拿資源湊起來的東西，在我看來都是沒有增量價值的。這種能根據(jù)實際反饋，把產(chǎn)品價值的驗證鏈條極大縮短的東西，才是真正的增量價值。

四木相對論：如果要實現(xiàn)L5這個目標，我們會通過一個產(chǎn)品不斷優(yōu)化，還是產(chǎn)品矩陣來實現(xiàn)？

陳秋武：可能大家現(xiàn)在還是習慣沿用上一個階段的思路。SuperAPP的形態(tài)不重要，但是競爭力是超級智能。形態(tài)我相信大家都是很模糊的，但互聯(lián)網(wǎng)已經(jīng)把低垂的果實摘完了，這種情況下，不能希望用老的思路拿到價值。

我覺得超級APP的思路是，它的流量本身是綁定在APP上的。舉個例子，現(xiàn)在大家的微信是一樣的，但如果現(xiàn)在我可以定制一個自己個性化的微信，尤其根據(jù)個人實際情況不斷實時調(diào)整，我對這個APP的黏性是遠遠超過通用APP的。再往后，SuperAPP也可能變成為比個性化APP服務的上游通用基礎(chǔ)供應服務。

四木相對論：或許還得問一個"老思路"的問題。這件事和千人千面的區(qū)別有多少？

陳秋武：我做了很多年推薦。這個領(lǐng)域一個很重要的問題是，優(yōu)質(zhì)內(nèi)容生產(chǎn)的效率不高。你刷一個APP，刷60分鐘可能沒問題，但繼續(xù)再往下刷，內(nèi)容質(zhì)量其實蠻差的。原因就是高質(zhì)量的內(nèi)容，在供給側(cè)是不夠的。

老的互聯(lián)網(wǎng)是一個平臺，只提供鏈接本身，不會生產(chǎn)內(nèi)容。所以，如果提供一個Personal APP去生產(chǎn)這些內(nèi)容以及服務，整個生態(tài)就會完全不一樣。

這是絕對的趨勢，我可以100%確定。我們現(xiàn)在講的這些不是可能性，是必然性。我們內(nèi)部一直相信，Auto-Coding is AGI, Personal App is the End!

四木相對論：現(xiàn)在我們怎么定義自己的公司？從基礎(chǔ)大模型到產(chǎn)品再到Personal/Super APP，我們怎樣界定自己？

宿文：我們做的事情確實很多。

拿基座模型來說，從GPU的優(yōu)化層開始，我們會做分布式預訓練、算子融合、性能優(yōu)化、算子對齊，一步步把這些實在的技能全部積累下來。再往上，我們有能生成應用的產(chǎn)品。

最后，我們要一路做到L5，幫助Super APP落地。