作者 | 凌敏

對(duì)于普通人而言，音視頻算得上是最“接地氣”的技術(shù)——不需要具備專業(yè)背景，就能直觀地感受到技術(shù)能力高低帶來的體驗(yàn)層面的差異。比如，觀看世界杯直播，模糊的畫面、明顯的延遲、卡頓的互動(dòng)，都能直接影響球迷觀看體驗(yàn)。

在移動(dòng)互聯(lián)網(wǎng)時(shí)代，人們對(duì)于音視頻技術(shù)的要求其實(shí)很簡(jiǎn)單，就是“看得清、看得爽”。這也是火山引擎視頻云能夠在這一時(shí)期殺出重圍的關(guān)鍵——火山引擎將抖音在億級(jí) DAU 場(chǎng)景下長(zhǎng)期打磨和驗(yàn)證的能力，封裝成一系列解決方案，向業(yè)界輸出“抖音同款”的音視頻能力，重點(diǎn)解決畫質(zhì)、時(shí)延、穩(wěn)定性和大規(guī)模分發(fā)問題，為用戶帶來更高清、更實(shí)時(shí)、更沉浸的視頻體驗(yàn)。

但到了 AI 時(shí)代，人們對(duì)音視頻能力的要求又邁向新的高度，視頻不只用來“看”，還要能夠“聽”和“理解”，甚至能夠與人“對(duì)話”。比如，在教育場(chǎng)景，大家希望 AI 老師能實(shí)時(shí)對(duì)話，并能根據(jù)輔導(dǎo)對(duì)象智能匹配教學(xué)內(nèi)容；在娛樂場(chǎng)景，大家希望 AI 陪伴助手更懂自己，更有“人味兒”。什么樣的視頻云，才能支撐起這一想象？在 2025 年冬季火山引擎原動(dòng)力大會(huì)“智能視頻云”論壇上，火山引擎視頻云通過一場(chǎng)自我進(jìn)化給出了答案——過去，火山引擎視頻云提供的是“抖音同款”的經(jīng)典能力。這一次，火山引擎視頻云將進(jìn)化為打造“豆包同款” 的生成式智能。

面對(duì) AI 時(shí)代的音視頻場(chǎng)景，“豆包同款”視頻云在技術(shù)側(cè)，提供從底層（AIGC 傳輸系統(tǒng)）、到核心引擎 AI MediaKit+MIPP（智能媒體處理平臺(tái)），再到頂層音視頻互動(dòng)智能體三重支撐；在服務(wù)側(cè)，火山引擎視頻與邊緣服務(wù)的海外拓展，正幫助中國(guó)企業(yè)加速出海。

1 從“抖音同款”到“豆包同款”，音視頻技術(shù)的三重進(jìn)化

底層技術(shù)支撐：AIGC 傳輸系統(tǒng)讓多模態(tài)交互成為可能

正如前文所言，AI 時(shí)代，人們對(duì)于音視頻的期待提升到了能理解、能互動(dòng)的新高度。只有獲取更多維度的信息，AI 才能真正理解用戶意圖，生成準(zhǔn)確、自然的響應(yīng)。這也意味著，傳輸系統(tǒng)需要處理更多模態(tài)的信息，比如視頻、音頻、圖像、文字等。

在這樣的需求背景下，支撐豆包等大規(guī)模 AI 應(yīng)用的 AIGC 傳輸系統(tǒng)應(yīng)運(yùn)而生。它不僅支持實(shí)時(shí)、長(zhǎng)連接的多模態(tài)數(shù)據(jù)傳輸，還能覆蓋多樣化的實(shí)時(shí)交互場(chǎng)景：從實(shí)時(shí)音視頻傳輸?shù)綄?shí)時(shí)語音流，再到 Push-to-Talk 半實(shí)時(shí)語音交互，以控制信令傳輸，都能基于這一套基礎(chǔ)設(shè)施穩(wěn)定運(yùn)行。為了提升復(fù)雜網(wǎng)絡(luò)環(huán)境下的穩(wěn)定性，AIGC 傳輸系統(tǒng)還內(nèi)置了弱網(wǎng)對(duì)抗機(jī)制，保障用戶和智能體的流暢互動(dòng)。

AIGC 傳輸系統(tǒng)帶來的，是面向人機(jī)實(shí)時(shí)交互場(chǎng)景的多模態(tài)數(shù)據(jù)傳輸能力的升級(jí)，它能支撐大規(guī)模、高并發(fā)和突發(fā)業(yè)務(wù)場(chǎng)景下的 AIGC 多模態(tài)數(shù)據(jù)實(shí)時(shí)傳輸，為智能體應(yīng)用提供穩(wěn)定、實(shí)時(shí)、可擴(kuò)展的多模態(tài)數(shù)據(jù)傳輸能力。在傳輸之上，還需要一個(gè)覆蓋生產(chǎn)端、分析端、消費(fèi)端的全鏈路核心引擎，對(duì)底層原子能力進(jìn)行統(tǒng)一編排與調(diào)用?；?AIGC 傳輸系統(tǒng)與分布式多媒體智能處理平臺(tái) MIPP 的能力支撐，火山引擎視頻云核心引擎 AI MediaKit 也實(shí)現(xiàn)了全面升級(jí)。

核心引擎：AI MediaKit 將“王牌”原子能力引入大模型

在過去，傳統(tǒng)媒體工具套件的核心是媒體數(shù)據(jù)處理與服務(wù)的技術(shù)集合，這套經(jīng)典能力長(zhǎng)期用于開發(fā)音視頻播放或錄制的各類功能。但在 AIGC 時(shí)代，媒體價(jià)值鏈路被重新定義，內(nèi)容不再只是拍攝、播放，而是生成、分析、理解、消費(fèi)；用戶也不再只是觀看，而是通過自然語言、語音、圖像等方式參與交互。

這也是為什么，火山引擎視頻云選擇將經(jīng)典能力升級(jí)為 AI MediaKit——作為面向 AI 云原生時(shí)代的極致效率工具，AI MediaKit 將原先在抖音、豆包等業(yè)務(wù)中打磨成熟的媒體處理技術(shù)，升級(jí)成更細(xì)粒度的原子能力。這些在視頻云時(shí)代長(zhǎng)期積累的媒體處理原子能力，也是火山引擎最核心、也最具競(jìng)爭(zhēng)力的能力。在視頻理解、AI 推搜、內(nèi)容二次創(chuàng)作等場(chǎng)景中，AI MediaKit 能夠?qū)⒋竽Ｐ偷亩嗄B(tài)理解能力和 AIGC 生成能力引入音視頻處理流程，讓系統(tǒng)不僅能“看見”和“聽見”，還能理解內(nèi)容含義，從而更好地放大媒體價(jià)值。

AI MediaKit 的另一個(gè)核心價(jià)值在于，能提升內(nèi)容生產(chǎn)效率和體驗(yàn)。比如，AI MediaKit 面向大模型調(diào)用與編排更加友好。與直接調(diào)用大模型能力相比，AI MediaKit 提供預(yù)設(shè)的、可配置的 AI 工作流，可以從數(shù)據(jù)預(yù)處理和后處理、并發(fā)任務(wù)處理降低延時(shí)等多個(gè)角度，把多媒體處理能力和大模型原子能力編排得更好，效率也更高。

以視頻翻譯場(chǎng)景為例，過去長(zhǎng)期面對(duì)人工翻譯成本高、制作周期長(zhǎng)，傳統(tǒng)機(jī)器翻譯效果不理想、無法提供沉浸式的播放體驗(yàn)等核心痛點(diǎn)?！奥曈爸亲g”基于豆包大模型，結(jié)合視頻云的理解和內(nèi)容預(yù)處理能力 + 多媒體工程能力和知識(shí)庫，比如為大模型提供更適合的“原材料”，提供平滑的語句切分、適宜語速、精準(zhǔn)定位說話人等工程能力，確保整體翻譯效果可以達(dá)到業(yè)務(wù)生產(chǎn)水平。從而整體實(shí)現(xiàn)視頻多模態(tài)翻譯，包括文本翻譯、聲音翻譯以及面容翻譯。

AI MediaKit 深度融合生成式 AI 和多模態(tài)理解能力，提升多媒體處理能力的深度和廣度。此次升級(jí)不僅帶來了能力與效率的提升，也推動(dòng)多媒體能力從單一工具向價(jià)值放大器轉(zhuǎn)變，幫助企業(yè)以更高性價(jià)比構(gòu)建面向生產(chǎn)級(jí)的 AI 應(yīng)用與音視頻智能體。

頂層應(yīng)用：音視頻互動(dòng)智能體推動(dòng)交互體驗(yàn)升級(jí)

構(gòu)建一個(gè)真正可靠、能在生產(chǎn)環(huán)境中穩(wěn)定運(yùn)行的智能體并非易事，需要整合一整套復(fù)雜系統(tǒng)能力。為了降低企業(yè)構(gòu)建音視頻智能體門檻，火山引擎提供了一套完整的解決方案——將原本只是工具屬性的音視頻對(duì)話 AI 方案，升級(jí)為一個(gè)交流更順暢、體驗(yàn)更好，并且具有記憶、能自己解決問題的音視頻互動(dòng)智能體。企業(yè)能夠直接調(diào)用這套方案，快速搭建智能體。

火山引擎智能互動(dòng)產(chǎn)品負(fù)責(zé)人楊若揚(yáng)表示，音視頻互動(dòng)智能體此次升級(jí)最關(guān)鍵的轉(zhuǎn)變?cè)谟趦煞矫妫?strong>其一，AI 在感官體驗(yàn)上更加接近真人；其二，AI 智能體擁有特定場(chǎng)景的知識(shí)和技能。為了讓音視頻互動(dòng)智能體更具“真人感”，火山引擎通過模型精調(diào)，使得智能體的回復(fù)更加口語化，并覆蓋了開心、激動(dòng)、撒嬌、安慰、生氣等 20 多種情緒狀態(tài)，以及夾子音、氣泡音、悄悄話等多種表達(dá)方式，甚至還能根據(jù)上下文內(nèi)容及對(duì)話對(duì)象的情緒狀態(tài)，自動(dòng)選擇合適的表達(dá)方式，并在語速、音調(diào)甚至方言等方面進(jìn)行動(dòng)態(tài)調(diào)整。

本次音視頻互動(dòng)智能體升級(jí)帶來最大的驚喜，來自聲紋識(shí)別——能夠通過不同音色識(shí)別對(duì)話對(duì)象。這項(xiàng)能力對(duì)于不少應(yīng)用場(chǎng)景來說，極為關(guān)鍵。比如，在人和 AI 進(jìn)行一對(duì)一交流的過程中，如果不具備聲紋識(shí)別能力，大模型往往會(huì)將所有人聲一并識(shí)別，導(dǎo)致交互混亂。通過聲紋識(shí)別，智能體可以認(rèn)準(zhǔn)主講人的聲音，將非主講人的人聲全部屏蔽，實(shí)現(xiàn)聲紋層面的降噪效果。目前，該項(xiàng)能力已支持無感注冊(cè)，僅需采集約 10 秒的目標(biāo)音色即可完成識(shí)別。

此外，聲紋識(shí)別還能根據(jù)不同說話對(duì)象，實(shí)現(xiàn)個(gè)性化應(yīng)答。以 AI 玩具為例，當(dāng)智能體識(shí)別到是在與小孩子交流時(shí)，回應(yīng)的聲音會(huì)更加可愛；當(dāng)智能體識(shí)別到是在與爸爸交流時(shí)，除了回應(yīng)內(nèi)容發(fā)生變化，也會(huì)切換成更為自然的語氣。

對(duì)于陪伴類 AI 應(yīng)用而言，最重要的一個(gè)功能就是長(zhǎng)期記憶。音視頻互動(dòng)智能體本次在長(zhǎng)期記憶方面的升級(jí)，也是一大亮點(diǎn)。通過持續(xù)記錄歷史交流內(nèi)容，智能體能將原本碎片化的交互變成連續(xù)性故事，基于這些記憶，智能體更能理解用戶的偏好，甚至能夠主動(dòng)提供信息與建議，人和智能體的溝通也更加個(gè)性化。比如，個(gè)人助手能夠記住用戶關(guān)注的行業(yè)熱點(diǎn)、工作習(xí)慣，陪伴應(yīng)用能夠記住用戶的年齡、性別、喜好，教育應(yīng)用能夠記住孩子的年齡信息以及各學(xué)科的學(xué)習(xí)進(jìn)度和理解情況。

在教育、游戲、創(chuàng)作等典型應(yīng)用場(chǎng)景中，音視頻互動(dòng)智能體的價(jià)值可以得到最佳體現(xiàn)。在教育場(chǎng)景中，AI 老師通過聲音復(fù)刻技術(shù)以及情緒、表達(dá)方式上的優(yōu)化，能夠與線上真人老師高度一致。以“與愛為舞”為例，通過打造“全時(shí)、全知、全能”的 AI 導(dǎo)師，能夠?qū)崿F(xiàn)“人機(jī)協(xié)同”的深度耦合。

在游戲場(chǎng)景中，AI 游戲陪玩不僅能提供情緒價(jià)值，還能實(shí)時(shí)感知游戲進(jìn)程，為玩家提供專業(yè)攻略指導(dǎo)。以 TapTap 游戲陪玩 Agent 為例，其 AI 游戲助手一端借助火山引擎實(shí)時(shí)音視頻實(shí)現(xiàn)了用戶交互鏈路，另一端對(duì)接自有的多模態(tài)理解能力與大模型推理能力，并通過融合模型能力與搭建系統(tǒng)工程的方式，TapTap 將 Agent 拆成三層能力：感知游戲、理解游戲，以及基于完整上下文和游戲世界引擎，生成對(duì)用戶友好的提示，并通過 UI 和語音的方式與玩家進(jìn)行互動(dòng)。

與教育、游戲場(chǎng)景相比，在創(chuàng)作場(chǎng)景中，音視頻互動(dòng)智能體扮演的角色稍顯不同。以今年較為火爆的視頻生成、Vibe coding 場(chǎng)景為例，高質(zhì)量的 Prompt 門檻越來越高，普通用戶只能依靠“抽卡”。音視頻互動(dòng)智能體能通過多輪對(duì)話理解用戶意圖，明確創(chuàng)作目標(biāo)，進(jìn)而提升創(chuàng)作可控性，提高效率。

在智能硬件方面，火山引擎聯(lián)合樂鑫共同推出了一套名為“喵伴”的硬件開發(fā)套件。“喵伴”最大的亮點(diǎn)在于，這是一個(gè)能夠開箱即用的硬件 Demo 方案，開發(fā)者可以方便快捷地搭建自己的產(chǎn)品，5 分鐘跑通業(yè)務(wù)鏈路，快速進(jìn)行功能驗(yàn)證。此外，“喵伴”提供標(biāo)準(zhǔn)化接口，能夠兼容多硬件設(shè)備硬件，大幅降低適配成本。

可以預(yù)見的是，隨著技術(shù)和應(yīng)用的不斷拓展，音視頻互動(dòng)智能體的智能交互體驗(yàn)，還會(huì)帶來更多驚喜。其中一個(gè)較為清晰的趨勢(shì)就是多人群聊，通過多智能體協(xié)作，為用戶帶來更復(fù)雜、多角色的互動(dòng)體驗(yàn)，從而為視頻會(huì)議、AI 教學(xué)、狼人殺、游戲語音帶來更多玩法和可能性。

從底層（AIGC 傳輸系統(tǒng)）、到核心引擎 AI MediaKit+MIPP（智能媒體處理平臺(tái)），再到頂層音視頻互動(dòng)智能體，火山引擎視頻云將音視頻中最核心多項(xiàng)能力進(jìn)行了系統(tǒng)性重構(gòu)與升級(jí)。音視頻技術(shù)側(cè)的行業(yè)敘事，已被火山引擎“卷”到了新高度。而在服務(wù)側(cè)，火山引擎也試圖開“卷”——將一系列音視頻能力，打造成中國(guó)企業(yè)出海的“秘密武器”。

2 國(guó)產(chǎn) AI 應(yīng)用，掀起出海浪潮

國(guó)產(chǎn) AI 應(yīng)用出海，早已是不可逆的浪潮。《2025 年 AIGC 海外移動(dòng)應(yīng)用市場(chǎng)分析》報(bào)告顯示，2025 年 Q1 中國(guó) AI 應(yīng)用全球市場(chǎng)份額躍升至 7.9%，并且還在持續(xù)增長(zhǎng)。但對(duì)不少企業(yè)而言，出海始終是一道難解的“題”：方案適配、網(wǎng)絡(luò)體驗(yàn)、資源利用、商業(yè)模式……每個(gè)都是牽一發(fā)而動(dòng)全身的關(guān)鍵變量。

一面是企業(yè)迫切的出海需求，一面是艱巨的現(xiàn)實(shí)挑戰(zhàn)?；鹕揭嬉曨l與邊緣服務(wù)通過一套體系化的出海解決方案，幫助企業(yè)征戰(zhàn)海外市場(chǎng)。比如，為了解決出海應(yīng)用體驗(yàn)差、不穩(wěn)定、成本高等痛點(diǎn)，火山引擎通過智能全球加速（IGA），提供了一套 AI 應(yīng)用加速方案，能讓大模型請(qǐng)求、模型訓(xùn)練數(shù)據(jù)傳輸以及模型生成等場(chǎng)景，在全球范圍內(nèi)實(shí)現(xiàn)更快、更穩(wěn)、更安全，幫助開發(fā)者降低試錯(cuò)成本，加速驗(yàn)證和落地 AI 應(yīng)用的商業(yè)模式。

為了提升互動(dòng)的實(shí)時(shí)性，火山引擎還推出了面向出海場(chǎng)景的 Conversational AI 解決方案，支持超過一百種語言的交互能力。同時(shí)支持音視頻、圖像等多模態(tài)的交互，通過模型、語音、視頻以及數(shù)字人通話場(chǎng)景，幫助企業(yè)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新。

當(dāng)前，火山引擎這套出海解決方案已經(jīng)幫助多個(gè)中國(guó) AI 應(yīng)用加速走向全世界。以近幾年熱門的出海方向短劇、漫劇場(chǎng)景為例，麥芽短劇依托火山引擎聲影智譯，實(shí)現(xiàn)了高效、專業(yè)的 AI 視頻翻譯，視頻內(nèi)容能夠無障礙全球化傳播，并通過精細(xì)化字幕擦除，實(shí)現(xiàn)高質(zhì)量的無痕擦除，最大程度的還原視頻畫面。

從內(nèi)容生產(chǎn)到分發(fā)再到變現(xiàn)，火山引擎視頻云通過一場(chǎng)全方位的進(jìn)化，構(gòu)成了一條完整的出海價(jià)值鏈條。畢竟在追求效率與商業(yè)回報(bào)上，火山引擎一直走的是極為務(wù)實(shí)的路線，將技術(shù)優(yōu)勢(shì)持續(xù)轉(zhuǎn)化為可規(guī)?；?、可驗(yàn)證的業(yè)務(wù)價(jià)值。

而這輪從“抖音同款”經(jīng)典能力，到“豆包同款”生成式智能的進(jìn)化，本質(zhì)上，也是火山引擎在為下一個(gè)十年的交互方式做準(zhǔn)備。