01華山論劍最終比的是什么

在人工智能的世界里，我們以金庸先生的武俠小說《射雕英雄傳》來作比喻五大平臺的地位。OpenAI就像是小說里武功蓋世的中神通，暫時領(lǐng)先于其他四大頂級高手。我說這句話，你同意嗎？

縱觀人工智能平臺的競爭格局，谷歌的Gemini宛如小說中的南帝，展現(xiàn)出創(chuàng)新和智慧的實力。

亞馬遜的Claude則像是北丐，具有適應(yīng)性強(qiáng)和資源豐富的特點，在不斷變化的云計算和AI服務(wù)市場中生存發(fā)展。

馬斯克的GROK可以比作東邪，他的方法顛覆傳統(tǒng)，通過在交通和太空探索等領(lǐng)域應(yīng)用突破性的AI，革新了整個行業(yè)。

扎克伯格的LLaMA則像是西毒，采取戰(zhàn)略性和全面性的手段，將AI深入融合進(jìn)社交網(wǎng)絡(luò)和虛擬現(xiàn)實。

在這場激烈的“軍備競賽”中，蘋果公司在扮演著什么角色呢？

02 AI Agent橫空出世

五個大語言模型擁有著各自的武功優(yōu)勢，但它們總體上還是被動的練功方式，一招一式的效果還是取決于我們個體習(xí)武人本身的能力。

而被業(yè)界稱為智能體（AI Agent,個人覺得這個翻譯更妥帖一點）秘笈的出現(xiàn)，將改變我們的學(xué)武門道。

它具備自主規(guī)劃自主執(zhí)行的能力，是打開通用人工智能（AGI)大門的敲門磚。

從人工智能發(fā)展路徑來看，需要練就五個層級，即語料庫，互聯(lián)網(wǎng)實時訪問的多模態(tài)內(nèi)容輸出，我們現(xiàn)在就是在這個層級上，智能體在大語言模型匯聚的基礎(chǔ)上，將向感知、具身和社會屬性的方向進(jìn)發(fā)，當(dāng)我們練就了若干的智能體后，通過多個智能體之間的互動合作，具備了情感屬性，能夠處理更加復(fù)雜的任務(wù)，反映現(xiàn)實世界中的社會行為時，我們將進(jìn)入第五級，是終極嗎？我們不知道！

那么什么是智能體呢？

我們想象這樣一個場景，黃蓉如何學(xué)習(xí)打狗棍法，首先黃姑娘想學(xué)習(xí)這個武藝，也找到了師傅洪七公，她要通過自己的感官系統(tǒng)捕捉師傅演練中的全部動作細(xì)節(jié)，然后在自己頭腦中形成一個個動作的分解過程，哪些是重點，哪些是難點，所有這些就是在做規(guī)劃和決策，然后開始借助打狗棒進(jìn)行演練，一開始和師傅過招只能打上幾個回合，經(jīng)過不斷的互動與反饋，挫折與失敗，最后打成平手，獲得了身體上和精神上的滿足。

如果我們把這個場景抽象成模型，就是由感知模塊、規(guī)劃模塊、行動模塊、反饋模塊組成了這個場景過程，而智能體就是這樣的框架組成。

其中最關(guān)鍵的是大腦部分，而這個大腦部分構(gòu)成就是大語言模型，它增強(qiáng)了智能體的規(guī)劃與決策的能力。

03所謂的知識庫，到底指的什么？

我們拿OpenAI提出的智能體的模型圖為例，它被拆分成了規(guī)劃、記憶、工具和行動等模塊。其中記憶模塊分成了兩個子模塊，分別是短期記憶模塊和長期記憶模塊。

短期記憶指提示詞工程中的上下文連接，相當(dāng)于我們?nèi)说母兄到y(tǒng)，它是指外部信息的輸入，包括文本、圖片、語音、視頻等。短期記憶受到模型的上下文的限制，你比如最近OpenAI推出的GPT-4 Tuobo支持128k字節(jié)token，超過之后，LLM就忘記了之前輸入的信息，所以我們?yōu)槭裁纯倧?qiáng)調(diào)對話過程中的重點話題的反復(fù)強(qiáng)調(diào)。

長期記憶指的是支持向量搜索，支持在執(zhí)行任務(wù)時調(diào)用類似人類圖書館中的知識，它包括客觀存在的事實、事件、概念等等，也包括機(jī)器主觀學(xué)習(xí)獲得的知識。

所以我們經(jīng)常提到的，為垂直類行業(yè)搭建知識庫，就是在建立長期記憶模塊，在長期記憶模塊中，我們投喂的數(shù)據(jù)越多，機(jī)器主觀學(xué)習(xí)獲得的知識也就越多，經(jīng)驗值的準(zhǔn)確率也會越來越好。

04占據(jù)核心位置的規(guī)劃模塊

規(guī)劃模塊講起來有點拗口，它的核心作用就是將復(fù)雜的目標(biāo)進(jìn)行拆分，如同黃姑娘站在七公面前耍鬼主意，她要找到最優(yōu)的學(xué)習(xí)方法。這里涉及到的思維鏈(CoT)和子目標(biāo)分解模塊（Subgoal Decomposition)就不再詳細(xì)解釋了。當(dāng)然這里面還有反思(Reflection)和自我批判模塊（Self-critics），它的目的就是引入強(qiáng)化學(xué)習(xí)機(jī)制，通過環(huán)境的反饋狀態(tài)，能從錯誤中吸取教訓(xùn)，修成正果。

05工具調(diào)用模塊和行動模塊應(yīng)該是合二為一

智能體的行動方式可以分為三類，基于大語言模型基礎(chǔ)能力上的文本輸出，通過LLM調(diào)用外部的程序工具，包括調(diào)用其他的專家模塊來協(xié)同處理任務(wù)，調(diào)用API或者插件處理特定任務(wù)，利用現(xiàn)實世界的機(jī)器人，接收指定任務(wù)后與周圍物體進(jìn)行交互，完成任務(wù)目標(biāo)。

最后總結(jié)一句話，智能體等于LLM大腦構(gòu)成+記憶+感知&反思+規(guī)劃+工具使用，這個才是真正的人工智能體該有的樣子。

07智能體有哪些應(yīng)用場景呢

目前國內(nèi)已經(jīng)有了許多的頭部機(jī)構(gòu)在教育領(lǐng)域推出了AI應(yīng)用，像Seerboldor北京團(tuán)隊推出的針對職業(yè)院校專業(yè)教師微課設(shè)計方面的痛點（相關(guān)知識點的視頻素材向量搜索、二次編輯工作、直播機(jī)器人生成與場景設(shè)計等），專門生成的二次創(chuàng)作的剪輯工具RFM(Recompose Fragmented Media)。它能夠處理和整合大量具備版權(quán)的視頻素材，它支持基于腳本化描述和純故事性描述的搜索，使用戶能夠根據(jù)自己的需求快速找到所需視頻片段。

此外，該工具特別適合素材豐富的公司和團(tuán)體，提供便捷的授權(quán)機(jī)制，使下級用戶可以方便地使用這些素材。

它的應(yīng)用場景也很廣泛，即視頻二次創(chuàng)作，為創(chuàng)作者提供必要的工具，以實現(xiàn)他們的創(chuàng)意和故事講述；廣告制作，幫助營銷團(tuán)隊快速找到和整合視頻素材，創(chuàng)作有影響力的廣告內(nèi)容；組織素材管理，為擁有大量視頻素材的組織提供一個高效的管理和使用平臺；個性化項目，幫助職業(yè)院校老師或者小型教學(xué)團(tuán)隊進(jìn)行精品微課視頻項目的策劃與制作工作。