Unite Shanghai 2025于 10 月 23-24 日圓滿舉辦。在團結引擎專場中，Unity 中國軟件工程師，團結引擎 AI 團隊開發(fā)成員高尚、柴沛霖帶來分享《團結AI：Assistant & Graph》，本文為演講全文實錄。點擊閱讀原文，可以訪問 Unite Shanghai 2025 演講錄像，一起學習 Unite 分享的最新技術干貨。

團結 AI Assistant

高尚：各位開發(fā)者大家下午好，我們今天來看一下團結 AI Assistant——深度集成于團結引擎的人工智能助手。我們在 1.7 版本中對團結 Muse Chat 進行了重新定位，正式更名為團結 AI Assistant，希望在未來能夠帶給各位開發(fā)者更好的體驗。

今天在團結 AI Assistant 部分講到的內(nèi)容將包括知識問答、代碼助手，并重點在 Agent 模式上做一些介紹。在 Agent 模式下，團結 AI Assistant 會根據(jù)具體情況選擇合適的 Agent 工具進行調(diào)用，以便更好地分析當前項目，自動化操作流程。同時，我們也提供了自定義工具的接口，支持開發(fā)者進一步拓展團結 AI Assistant 的能力邊界。最后，我會帶大家一起看看團結 AI Assistant 在 Agent 模式上的未來方向——多智能體支持，我們將在后續(xù)的版本更新中陸續(xù)向大家開放這一功能。

我們首先來看看基礎能力，團結 AI Assistant 支持關于團結引擎的知識問答，不僅具備深度思考能力，能更好地理解復雜的上下文，也支持通過聯(lián)網(wǎng)搜索獲取更多的相關信息。其中，聯(lián)網(wǎng)搜索也包含網(wǎng)頁瀏覽功能，可以直接讀取開發(fā)者在提問中提供的外部鏈接并基于該網(wǎng)頁內(nèi)容進行回答。

在團結 1.7 的更新中，我們對代碼助手的交互流程進行了優(yōu)化。在上面的 demo 中，我們想讓小球繞 z 軸圓周運動，提問然后生成代碼。將代碼保存并導入后，會自動掛載到已選中的小球的 GameObject 上。再次提問讓 AI 修改代碼，這時會自動將腳本 Attach 為附件，修改后保存可以自動覆蓋，整個流程還是比較絲滑的。

我們現(xiàn)在已經(jīng)支持了低代碼的工作流，方便大家去做代碼的生成、導入和自動掛載到選擇的 GameObject。生成代碼如果編譯檢查不通過，可以進行自動調(diào)試和修復，也支持像右邊截圖一樣添加附件作為提問的上下文。為了方便交互，我們也提供了多個便捷入口，可以直接在 GameObject 和腳本文件的右鍵菜單進入，也可以像右下角截圖中所示，針對 Console 報錯一鍵提問，就能讓團結 AI Assistant 自動進行問題分析和修復。

接下來，我們來看看 Agent 模式。之所以要引入 Agent 模式，是因為我們希望讓 AI 不只是“回答問題”，而是真正理解實際項目。我們提供了一套 Agent 工具集，這些工具能幫助團結 AI Assistant 讀取當前項目中的各種資源，比如 GameObject/Assets 等，為 LLM 提供豐富的上下文信息。當開發(fā)者提問時，AI Assistant 會自動根據(jù)問題的類型和上下文，調(diào)用最合適的 Agent 工具，去分析當前項目的狀態(tài)，從而生成更準確、更有針對性的回答。實際使用也很簡單，只需將鼠標移動到輸入框左側(cè)的機器人圖標，就可以通過點擊來選擇是否啟用，默認是啟用的。同時也能看到 Agent 工具列表，可以選擇是否啟用某個具體的工具。此外，需要向大家說明的是，所有這些信息的讀取，都僅用于當前問題的解答，不會被用于模型訓練，各位開發(fā)者可以放心使用。

剛才我們介紹了內(nèi)置的 Agent 工具，我們也提供了接口支持開發(fā)者進行自定義工具的實現(xiàn)。在上面示例中，我們將地形生成功能封裝成了一個自定義 Agent 工具，并通過團結 AI Assistant 的自定義接口進行接入?，F(xiàn)在，只需輸入一條簡單的指令，它會自動調(diào)用地形生成工具進行執(zhí)行，在場景中創(chuàng)建所需地形，并可對已有地形進行調(diào)整與優(yōu)化。通過這種方式，開發(fā)者可以將自己的工作流邏輯封裝成工具，按照實際需求去拓展團結 AI Assistant 的能力邊界。

自定義工具的創(chuàng)建流程也很簡單，像上方 Demo 一樣，只需點擊 Agent 工具列表右上角的“＋”號，就能打開創(chuàng)建 Agent 工具的彈窗。在這個界面中，開發(fā)者對需要的自定義工具進行定義：包括工具的名字和描述，向大語言模型說明這個工具的用途；接下來是參數(shù)配置，用于定義每個參數(shù)的名稱、類型和描述；最后一項是工具的執(zhí)行腳本，可以點擊腳本旁邊的“創(chuàng)建”一鍵生成腳本模板，在生成的 C# 文件中編寫執(zhí)行邏輯。完成設置后，點擊“保存工具”就創(chuàng)建好了。

自定義工具的執(zhí)行腳本里，必須實現(xiàn) IAgentToolExecutor 接口，需要選擇調(diào)用的類型，再實現(xiàn)對應的函數(shù)接口，比如 Task 的異步調(diào)用就實現(xiàn) ExecuteTask。需要說明的是，目前已發(fā)布的版本僅支持同步調(diào)用，異步調(diào)用功能會盡快發(fā)布。具體用法可以參考團結引擎的文檔，這里就不過多展開了，或者大家也可以問問我們的團結 AI Assistant。

現(xiàn)在，我們來看看團結 AI Assistant 在 Agent 模式上的未來方向——多智能體支持。為了解決團結引擎在實際使用過程中面臨的復雜任務，我們正在研發(fā)多智能體協(xié)作機制，目前這是一個內(nèi)部預研階段的功能，未來我們會在穩(wěn)定后開放測試。我們希望讓團結 AI Assistant 能夠調(diào)用不同團結引擎模塊的專家智能體（Expert Agent），從而更好地應對復雜任務。比如，我們可以為 ShaderGraph 模塊實現(xiàn)一個專門服務于 Shader Graph 專家智能體，就叫做 ShaderGraph Agent，用來處理各類與 ShaderGraph 相關的任務。

我們已經(jīng)實現(xiàn)了一個可用的 ShaderGraph Agent。提問一個和 Shader Graph 相關的問題，團結 AI Assistant 就會將任務分配給 ShaderGraph Agent 去執(zhí)行。這些任務可能包括咨詢某個 ShaderGraph 的使用方式，也可以是生成 Shader Graph 節(jié)點或 Custom Function 等。除此之外，它還可以根據(jù)生成的節(jié)點和 custom function 的需要去實際生成配置它的輸出參數(shù)，以及把一些輸入的 ShaderGraph 的節(jié)點進行自動連接。在使用過程中，只需將 Shader Graph 相關問題交給團結 AI Assistant，它就能夠把任務轉(zhuǎn)交給 ShaderGraph Agent 去處理，從而實現(xiàn)任務的分配和智能體的協(xié)作。

舉個實際的例子，比如說我們有個生成水體效果的需求，我們做了個 Demo，基于團結 AI Assitant 對專家智能體的支持，分成 4 步讓 ShaderGraph Agent 來實現(xiàn)。第一步，我們直接提問團結 AI Assitant，讓它生成計算水體顏色的 Custom Function，判斷到是跟 Shader Graph 相關的任務后，就會交給 ShaderGraph Agent 來處理。這里 ShaderGraph Agent 能根據(jù)我們的需求，生成對應的 Custom Function，并設置好需要用到的輸入和輸出，還可以找到并生成合適的節(jié)點直接幫我們連好。我們后面就只用檢查一下生成的這個節(jié)點對不對，以及根據(jù)自己的需求進行一些微調(diào)。例如前面生成的邊緣透明度、水體顏色、散射顏色等節(jié)點，都是美術可以用來調(diào)效果的，我們就可以把他們轉(zhuǎn)化成 Property，暴露給材質(zhì)球，方便我們進行后續(xù)的調(diào)整。

第二步也是一樣，將任務提交給團結 AI Assitant，就會讓 ShaderGraph Agent 去生成通過 NormalMap 動畫來模擬水波紋效果的 Custom Function。我們對生成的節(jié)點進行一些微調(diào)，比如只保留 World Position 的 X/Z 軸坐標用于貼圖采樣。然后和剛才一樣，將選擇的輸入節(jié)點轉(zhuǎn)換為 Property，方便我們后續(xù)調(diào)整。

第三步生成折射 UV，和之前一樣檢查生成的節(jié)點，生成的 UV 節(jié)點默認連接到 UV 輸入，但我們需要用于采樣屏幕顏色的 UV，因此手動進行了替換。最后就是生成頂點動畫，讓水體網(wǎng)格動起來，得到有體積感的波浪效果，將新的位置、法線、切線信息連到頂點著色器上面。

對于這個 Expert Agent，未來我們也會繼續(xù)優(yōu)化，一方面是讓它能更準確地理解需求并進行規(guī)劃，從而減少手動操作，盡可能解放雙手。另一方面也會繼續(xù)豐富它的功能，挖掘他的潛力，讓它能進一步得提高我們的開發(fā)效率，并且降低 Shader Graph 的使用門檻。

最后，我們來簡單聊一下對于團結 AI Assistant 的未來規(guī)劃。后續(xù)會圍繞三個方向持續(xù)優(yōu)化：一是深度融合團結引擎生態(tài)，我們會提供更豐富的內(nèi)部工具調(diào)用支持，然后提供更多模塊的 Expert Agent，同時也會對 Attaching 的交互進行優(yōu)化，并支持更多附件類型，讓 AI 模型能夠獲得充分的上下文。第二個是智能化任務理解與規(guī)劃，剛才提到的優(yōu)化 Agent 模式，提升 Planning 的能力，優(yōu)化任務拆解和意圖理解。最后是開放與生態(tài)建設，會在后面版本中提供 MCP 支持，支持更多的外部 AI 工具。

后面就把時間交給我的同事為大家介紹團結 AI Graph。

團結 AI Graph

柴沛霖：大家下午好，我是柴沛霖。我會帶來關于團結 AI Graph 更詳細的介紹。

我將更詳細地介紹一下 AI Graph，目的是將資產(chǎn)制作流程可視化，易于編輯和協(xié)作，更符合美術使用習慣。大家使用的 ShaderGraph 以及一些 AI 工具都是類似的方式，適合大家自由調(diào)配。下圖就是我們現(xiàn)在搭建的 AI Graph 流程圖。

AI Graph 希望作為平臺可以集成多種 AI 工具，如文生圖，文生 3D，動畫生成，骨骼綁定等。最后我們希望內(nèi)嵌在引擎里，生成資產(chǎn)可以快速生用到場景里。

團結 AI Graph 的創(chuàng)建方式有三種：第一種是菜單欄創(chuàng)建，左上角通過 window 點開團結 AI，后面有一個 Graph template 和團結 AI Graph。選擇團結 AI Graph 可以在當前資產(chǎn)的位置創(chuàng)建一個空的 AI Graph，選擇 template 會提供可供使用的模板。第二種方式是 Inspector 創(chuàng)建，創(chuàng)建空的如動畫、3D 物體、2D 圖片等對象時，可以通過 Inspector 面板右上角 AI generate 去生成。如果想更新這些資產(chǎn)，點擊一個圖片、3D 模型或者動畫，右上角也有 AI generate，可以使用它來替換當前的資產(chǎn)。第三種方式是 Assets 右鍵創(chuàng)建，這是大家常用的創(chuàng)建資產(chǎn)的方式。

上圖是一個空的 AI Graph 文件，搭建它的管線跟大家使用的美術 Shader Graph 很像，是通過右鍵創(chuàng)建一個個的節(jié)點，并連線完善它們之間的相互關系。

為了方便大家使用，我們提供了一些模板，點擊 AI Graph template 以后可以看到包括 2D、3D 的資產(chǎn)生成模板。這里的模型廠商有騰訊混元、影眸 Rodin、Tripo-VAST 等，未來會接入更多廠商。

打開模板右邊的界面，左上角會有便簽告訴大家這些是干什么用的，更詳細的參數(shù)會在 menu 里面提供，歡迎大家嘗試。

我們提供的模板框架包括 2D 的圖生圖、生成三視圖、生成天空盒等，以及 3D 文/圖生模型、3D 綁骨，圖生動畫等。

還有關于 2D 和 3D 資產(chǎn)修改的其他功能，比如 2D 圖片上色、背景去除、風格轉(zhuǎn)換等，3D 生成低面數(shù)模型、線稿生成模型、風格化角色等。同一種功能可能由不同的廠商提供，大家可以進行比對，選擇最適合自己的使用。

同時我們還提供 group 群組和 Graph 子圖兩種比較特殊的方式供大家使用。group 群組是大家可以把覺得可以成為一個組合的節(jié)點拖入進一個 group 群組里面，方便更好地規(guī)劃和修改 Graph 的組織架構。Graph 子圖有點像套娃，右上角的圖片示例中顯示了兩個簡單節(jié)點，是通過 prompt 生成一個模型，然后我們希望給這個 prompt 一個 string 輸入，右邊給 model 一個輸出。我們可以添加輸入和輸出節(jié)點，當前圖片就可以作為子圖導入到下面的 model 節(jié)點。Graph 本身是一個資產(chǎn)，可以把資產(chǎn)直接拖到另外一個 Graph 里面，作為子圖使用，這樣可以套娃去使用不同的子圖來完成管線搭建。

最后再講一下歷史資產(chǎn)，生成完的結果我們會通過一個按紐保留到歷史資產(chǎn)列表里面，比如上圖是當前一些節(jié)點生成的不同資產(chǎn)。如果覺得現(xiàn)在生成的模型還不如上一個模型，可以將同樣節(jié)點的上一個模型直接拖入到當前節(jié)點，就可以直接使用。同樣也可以將歷史資產(chǎn)里面之前生成的模型在右上角進行下載或者刪除。

最后講一下團結 AI Graph 未來的規(guī)劃。第一個規(guī)劃是支持 Sentis 包，Sentis 是 Unity 原生支持 AI 模型的能力，它支持推理框架，能將 AI 模型導入到游戲的應用程序中，用戶可以使用這些 AI 模型進行物體識別、智能 NPC 等復雜功能。模型導入之后，它就可以支持在所有團結平臺上運行，意味著大家可以在 runtime 下使用 AI Graph 完成自己的框架搭建、使用到游戲之中。團結 AI Graph 未來會基于 Sentis 提供三類節(jié)點：第一個輸入節(jié)點，將項目資產(chǎn)編碼為 AI 需要的張量輸入；第二個推理節(jié)點可以運行 AI 模型獲取張量輸出；第三種是輸出節(jié)點，將張量輸出為項目資產(chǎn)。這樣大家就可以通過團結 AI 以及 Sentis 的聯(lián)動在 runtime 實現(xiàn)更多有創(chuàng)意的內(nèi)容。

另外一個未來將會做的事是開放式框架，我們希望給用戶提供可以使用的用戶框架，用戶只需要提供符合規(guī)格的 Json 文件，AI Graph 會自動解碼編譯成 C# 文件生成用戶自己的用戶節(jié)點。未來我們會搭建一個平臺，用戶自己創(chuàng)作的好用節(jié)點、節(jié)點流都可以上傳到平臺。如果上傳用戶允許，其他用戶可以下載上傳用戶自制的節(jié)點或 Graph。

在未來的 2-3 個月里，AI Graph 是供大家免費使用的，每天都有一定數(shù)量的免費 token 用量，希望大家積極嘗試，謝謝大家！

Unite Shanghai 2025演講回放錄像已上線 Unity 中文課堂，點擊閱讀原文即可訪問，購票用戶可免費觀看。請持續(xù)關注，一起學習 Unite 分享的最新技術動向。

Unity 官方微信

第一時間了解Unity引擎動向，學習進階開發(fā)技能

每一個“點贊”、“在看”，都是我們前進的動力