來(lái)源：小米技術(shù)、微博@雷軍

12月1日晚，雷軍 發(fā)文稱(chēng)，“人工智能領(lǐng)域的國(guó)際頂級(jí)會(huì)議AAAI，致力于推動(dòng)人工智能領(lǐng)域的學(xué)術(shù)研究與創(chuàng)新發(fā)展。AAAI 2026，小米共有7篇最新研究成果成功入選，涵蓋了音效編輯、具身智能3D Agent、檢索、推斷解碼、語(yǔ)音問(wèn)答、VLN導(dǎo)航、自動(dòng)駕駛等。這是小米大模型和具身智能部分研究成果的階段性展示，也踐行小米科技戰(zhàn)略‘深耕底層技術(shù)、長(zhǎng)期持續(xù)投入’。”

AAAI 是人工智能領(lǐng)域的國(guó)際頂級(jí)會(huì)議之一，由人工智能促進(jìn)協(xié)會(huì)（Association for the Advancement of Artificial Intelligence）主辦，在中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦會(huì)議列表中被列為 A 類(lèi)會(huì)議。AAAI 致力于推動(dòng)人工智能領(lǐng)域的學(xué)術(shù)研究與創(chuàng)新發(fā)展，每年舉辦一次，AAAI 2026 是該會(huì)議的第40屆，共收到創(chuàng)紀(jì)錄的23680篇有效投稿，總共4167篇論文被錄取，錄取率17.6%。該會(huì)議于2026年1月20日至27日在新加坡博覽中心舉辦。

論文簡(jiǎn)介

AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control

論文作者：郭新月，楊曉冉，張李攀，楊劍軒，王昭，欒劍

錄用類(lèi)型：主會(huì)

論文鏈接：https://arxiv.org/abs/2511.21146

音效編輯——即通過(guò)添加、移除或替換元素來(lái)修改音頻——目前仍受限于僅依賴低級(jí)信號(hào)處理或粗粒度文本提示的傳統(tǒng)方法，這往往導(dǎo)致編輯靈活性有限且音質(zhì)欠佳。為此，我們提出 AV-Edit 這一生成式音效編輯框架，通過(guò)聯(lián)合利用視覺(jué)、音頻與文本語(yǔ)義，實(shí)現(xiàn)對(duì)視頻中現(xiàn)有音軌的細(xì)粒度編輯。

具體而言，該方法采用專(zhuān)門(mén)設(shè)計(jì)的對(duì)比式視聽(tīng)掩碼自編碼器（CAV-MAE-Edit）進(jìn)行多模態(tài)預(yù)訓(xùn)練，學(xué)習(xí)對(duì)齊的跨模態(tài)表征。這些表征隨后用于訓(xùn)練編輯型多模態(tài)擴(kuò)散 Transformer（MM-DiT），通過(guò)基于關(guān)聯(lián)的訓(xùn)練策略，能夠消除視覺(jué)無(wú)關(guān)的音效并生成與視頻內(nèi)容一致的缺失音頻元素。此外，我們構(gòu)建了專(zhuān)門(mén)的視頻音效編輯數(shù)據(jù)集作為評(píng)估基準(zhǔn)。

實(shí)驗(yàn)表明，所提出的 AV-Edit 能基于視覺(jué)內(nèi)容生成具有精確修改的高質(zhì)量音頻，在音效編輯與音頻生成領(lǐng)域?qū)崿F(xiàn)了最先進(jìn)的性能表現(xiàn)。

作為小米在視頻音效領(lǐng)域的首篇頂會(huì)論文，生成式音效編輯填補(bǔ)了傳統(tǒng)方法在細(xì)粒度編輯、多模態(tài)語(yǔ)義對(duì)齊上的空白，突破了僅靠低級(jí)信號(hào)處理或粗粒度提示的局限；落地手機(jī)等產(chǎn)品后，能讓普通用戶便捷實(shí)現(xiàn)專(zhuān)業(yè)級(jí)音效修改（如短視頻精準(zhǔn)加/消音），大幅降低創(chuàng)作門(mén)檻，重塑移動(dòng)端音視頻編輯體驗(yàn)。

《Cook and Clean Together: Teaching Embodied Agents for Parallel Task Execution

*表示共同第一作者

論文作者：梁定康*，張誠(chéng)*，許小鵬，鞠建忠，羅振波，白翔

錄用類(lèi)型：主會(huì)，口頭報(bào)告（Oral）

論文鏈接：https://arxiv.org/abs/2511.19430

在具身智能（Embodied AI）時(shí)代，讓智能體在 3D 物理世界中高效執(zhí)行復(fù)雜任務(wù)至關(guān)重要。然而，現(xiàn)有的任務(wù)規(guī)劃研究大多被過(guò)度簡(jiǎn)化，模型只能逐一執(zhí)行指令，缺乏利用“運(yùn)籌學(xué)知識(shí)（Operations Research Knowledge）” 進(jìn)行效率優(yōu)化的能力。

例如，具身智能體在執(zhí)行“使用微波爐” 這樣的并行任務(wù)時(shí)，無(wú)法利用等待時(shí)間去執(zhí)行“洗水槽” 或“擦柜臺(tái)” 等其他工作，導(dǎo)致總時(shí)長(zhǎng)遠(yuǎn)非最優(yōu)。同時(shí)，這些規(guī)劃往往缺乏在 3D 空間中的視覺(jué)定位能力（3D grounding），難以在真實(shí)世界中執(zhí)行。

為解決“任務(wù)效率”與“ 3D 視覺(jué)定位”難題，本文首次定義了基于運(yùn)籌學(xué)知識(shí)的 3D Grounding 調(diào)度這一任務(wù)。為推動(dòng)該任務(wù)研究，本文構(gòu)建了大規(guī)模數(shù)據(jù)集 ORS3D-60K（包含 4K 真實(shí)場(chǎng)景中的 60K 個(gè)任務(wù)）。

此外，本文提出了一個(gè)名為 GRANT 的具身多模態(tài)大語(yǔ)言模型。GRANT 的核心是一個(gè)簡(jiǎn)潔高效的 “調(diào)度令牌機(jī)制” （Scheduling Token Mechanism, STM）。模型不再自己盲目規(guī)劃，而是首先識(shí)別任務(wù)屬性（如“并行”或“非并行”），然后通過(guò)一個(gè)特殊的 令牌調(diào)用外部?jī)?yōu)化求解器，生成“最優(yōu)執(zhí)行序列”。該序列隨后被注入模型，引導(dǎo)其生成高效且在 3D 空間中精確定位的步驟化行動(dòng)。

實(shí)驗(yàn)證明，GRANT 在任務(wù)調(diào)度效率上相比基線方法取得了高達(dá) 30.53% 的顯著提升，同時(shí)在 3D grounding 準(zhǔn)確率上也獲得增益，驗(yàn)證了其在空間理解、3D grounding 和調(diào)度效率方面的全面有效性。

《AutoLink: Autonomous Schema Exploration and Expansion for Scalable Schema Linking in Text-to-SQL at Scale

〡本文受小米揭榜掛帥科研專(zhuān)項(xiàng)支持

*表示共同第一作者

論文作者：王資洋*，鄭元雷*，曹振彪，張曉今，魏忠鈺，付培，羅振波，陳偉，白翔

錄用類(lèi)型：主會(huì)

論文鏈接：https://arxiv.org/abs/2511.17190

在工業(yè)級(jí) Text-to-SQL 場(chǎng)景中，數(shù)據(jù)庫(kù)規(guī)模往往極為龐大（動(dòng)輒數(shù)百至數(shù)千列），將完整模式直接輸入大語(yǔ)言模型不僅會(huì)引入大量無(wú)關(guān)噪聲，而且容易觸發(fā)上下文長(zhǎng)度限制，從而影響 SQL 生成的準(zhǔn)確性。因此，如何在不暴露完整數(shù)據(jù)庫(kù)結(jié)構(gòu)的前提下，高召回地篩選出與用戶問(wèn)題相關(guān)的模式子集（Schema Linking）成為核心難點(diǎn)。

為解決這一問(wèn)題，本文提出 AutoLink，一種由大模型驅(qū)動(dòng)的自適應(yīng)、逐步式模式連接框架。AutoLink 不再一次性提供全量模式，而是模擬數(shù)據(jù)庫(kù)工程師的探索式工作方式，在數(shù)據(jù)庫(kù)環(huán)境與向量檢索環(huán)境之間進(jìn)行多輪交互，通過(guò)“檢索→探索→驗(yàn)證→擴(kuò)展”的迭代過(guò)程，動(dòng)態(tài)構(gòu)建與問(wèn)題相關(guān)的模式子集，實(shí)現(xiàn)高召回與低噪聲的平衡。

該框架不需要遍歷全模式，也無(wú)需將數(shù)據(jù)庫(kù)完整結(jié)構(gòu)輸入語(yǔ)言模型，具備高度可擴(kuò)展性。實(shí)驗(yàn)結(jié)果表明，AutoLink 在多個(gè)主流基準(zhǔn)上取得了顯著優(yōu)勢(shì)：在 Bird-Dev 上實(shí)現(xiàn) 97.4% 的嚴(yán)格模式召回率（SRR），在大規(guī)模 Spider 2.0-Lite 上達(dá)到 91.2% 的 SRR，均為當(dāng)前最優(yōu)表現(xiàn)。

同時(shí)，AutoLink 在保持高執(zhí)行準(zhǔn)確率的前提下顯著降低 Token 消耗，即便在擁有 3000+ 列的超大數(shù)據(jù)庫(kù)中依舊保持穩(wěn)定性能，展示了工業(yè)級(jí)可落地的魯棒性與可擴(kuò)展性。

《Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios》

〡本文受小米揭榜掛帥科研專(zhuān)項(xiàng)支持

論文作者：史洛合，李祖超，張樂(lè)飛，齊保元，劉國(guó)明

錄用類(lèi)型：主會(huì)，口頭報(bào)告（Oral）

論文鏈接：https://arxiv.org/abs/2511.20340

大語(yǔ)言模型（Large Language Models, LLMs）自回歸解碼由于其低運(yùn)算強(qiáng)度常出現(xiàn)訪存帶寬瓶頸并浪費(fèi)算力。投機(jī)解碼（Speculative Decoding）通過(guò)草稿模型猜測(cè)后續(xù) token 以增強(qiáng)主模型的并行性。目前的主要研究方法通過(guò)擴(kuò)充草稿 token 數(shù)量來(lái)增強(qiáng)準(zhǔn)確率，在單樣本下行取得了很好的效果。

誠(chéng)然，在一定的批大小下，這類(lèi)方法性能迅速退化，由于在可供使用的冗余算力減小的同時(shí)，每個(gè)樣本能夠分配到的草稿 token 數(shù)量也快速降低，同時(shí)串行生成草稿 token 也會(huì)占據(jù)過(guò)多時(shí)間。

通過(guò)分析這些問(wèn)題，我們提出了一種新的并行草稿 token 生成算 SpecFormer。通過(guò)將單向和雙向的兩個(gè) Transformer 層堆疊，并在輸入 token 和草稿 token 兩個(gè)維度上進(jìn)行注意力運(yùn)算，我們可以基于完整的輸入序列進(jìn)行預(yù)測(cè)，并且并行化的生成全部的草稿 token。

SpecFormer 是一個(gè)具有更強(qiáng)語(yǔ)言建模能力并且并行化的草稿模型，可以高質(zhì)高效的完成草稿 token 預(yù)測(cè)任務(wù)，并且在較為有限的條件下，也就是中大批大小下，得到更佳的預(yù)測(cè)質(zhì)量，同時(shí)減少草稿 token 運(yùn)行時(shí)間，總體上得到更好的加速效果。

《End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering》

〡本文受小米揭榜掛帥科研專(zhuān)項(xiàng)支持

論文作者：胡繼亮，李祖超，齊保元，劉國(guó)明，王平

錄用類(lèi)型：主會(huì)

論文鏈接：https://arxiv.org/abs/2511.09282

近年來(lái)，語(yǔ)音問(wèn)答（SQA）領(lǐng)域取得了顯著進(jìn)展。然而，包括大型音頻語(yǔ)言模型（LALM）在內(nèi)的許多現(xiàn)有方法在處理長(zhǎng)音頻時(shí)仍面臨困難。隨著檢索增強(qiáng)生成技術(shù)的成功，語(yǔ)音相關(guān)檢索器在預(yù)處理長(zhǎng)語(yǔ)音方面展現(xiàn)出潛力，但現(xiàn)有語(yǔ)音檢索器的性能仍有不足。

為應(yīng)對(duì)這一挑戰(zhàn)，我們提出了 CLSR——一種端到端的對(duì)比式語(yǔ)音-語(yǔ)言檢索器，能夠高效地從長(zhǎng)音頻錄音中提取與問(wèn)題相關(guān)的片段，以支持下游語(yǔ)音問(wèn)答任務(wù)。

與傳統(tǒng)語(yǔ)音-文本對(duì)比模型不同，CLSR在模態(tài)對(duì)齊前引入了將聲學(xué)特征轉(zhuǎn)換為類(lèi)文本表征的中間步驟，從而更有效地彌合模態(tài)差異。

在四個(gè)跨模態(tài)檢索數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，CLSR 既優(yōu)于端到端的語(yǔ)音相關(guān)檢索器，也超越了結(jié)合語(yǔ)音識(shí)別與文本檢索的流水線方法，為推進(jìn)實(shí)用型長(zhǎng)語(yǔ)音問(wèn)答應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。

《What You See Is What You Reach: Towards Spatial Navigation with High-Level Human Instructions

*表示共同第一作者 ?表示共同通訊作者

論文作者：張凌峰*，傅昊翔*，郝孝帥?，張書(shū)逸，張強(qiáng)，劉瑞，陳龍，丁文伯?

錄用類(lèi)型：主會(huì)

論文鏈接：https://openreview.net/pdf?id=ow65qpDY3Q

本文提出了空間導(dǎo)航（Spatial Navigation）任務(wù)，使智能體能夠理解“在沙發(fā)左側(cè)空地等我”等高級(jí)人類(lèi)指令并完成相應(yīng)的導(dǎo)航。

與傳統(tǒng)方法僅限于識(shí)別預(yù)定義物體類(lèi)別或執(zhí)行詳細(xì)路徑指令不同，該任務(wù)要求智能體結(jié)合空間關(guān)系推理，完成空間物體導(dǎo)航（SpON）和空間區(qū)域?qū)Ш剑⊿pAN）兩類(lèi)任務(wù)。

研究團(tuán)隊(duì)構(gòu)建了一個(gè)包含10,000條軌跡的數(shù)據(jù)集，并提出了 SpNav 分層框架。該框架通過(guò)視覺(jué)-語(yǔ)言模型解析指令，利用專(zhuān)門(mén)訓(xùn)練的 NaviPoint 模型進(jìn)行目標(biāo)定位，最后基于地圖的 Map-to-Action 模塊實(shí)現(xiàn)精確導(dǎo)航。

實(shí)驗(yàn)結(jié)果表明，SpNav 在導(dǎo)航性能上達(dá)到了當(dāng)前最先進(jìn)水平（SOTA），超越了之前的最佳基線，并且在真實(shí)環(huán)境中實(shí)現(xiàn)了零樣本遷移。

這項(xiàng)工作首次系統(tǒng)地解決了具身導(dǎo)航中復(fù)雜空間關(guān)系理解與高級(jí)指令解析的結(jié)合問(wèn)題，為家庭服務(wù)機(jī)器人等實(shí)際應(yīng)用中的自然人機(jī)互動(dòng)奠定了基礎(chǔ)。

《VILTA：A VLA-in-the-Loop Adversary for Enhancing Driving Policy Robustness》

論文作者：陳其茂，李方，徐少清，賴志懿，謝子勛，羅悅晨，蔣盛銀，李漢冰，陳龍，王兵，張毅，楊志新

錄用類(lèi)型：主會(huì)

當(dāng)前，自動(dòng)駕駛領(lǐng)域的開(kāi)源數(shù)據(jù)集在豐富性方面仍顯不足。盡管策略網(wǎng)絡(luò)在常規(guī)場(chǎng)景中的學(xué)習(xí)性能已趨于收斂，但在長(zhǎng)尾困難場(chǎng)景下的表現(xiàn)依然有限。

為此，本文提出 VILTA（VLA-in-the-Loop Trajectory Adversary），旨在解決長(zhǎng)尾場(chǎng)景數(shù)據(jù)稀缺以及現(xiàn)有生成方法多樣性不足的問(wèn)題。VILTA 創(chuàng)新性地將視覺(jué)語(yǔ)言模型（VLM）直接嵌入訓(xùn)練閉環(huán)，構(gòu)建了一種“視覺(jué)–語(yǔ)言–編輯”（Vision-Language-Editing）的新范式。

該方法充分利用 VLM 強(qiáng)大的場(chǎng)景理解能力，對(duì)周?chē)?chē)輛的未來(lái)軌跡進(jìn)行精細(xì)化的對(duì)抗性編輯，摒棄了傳統(tǒng)兩階段生成流程。同時(shí)，通過(guò)引入后處理機(jī)制確保生成軌跡的運(yùn)動(dòng)學(xué)可行性，從而能夠高效生成既符合物理規(guī)律又極具挑戰(zhàn)性的多樣化駕駛場(chǎng)景。

在 CARLA 仿真環(huán)境中的實(shí)驗(yàn)表明，經(jīng)強(qiáng)化學(xué)習(xí)優(yōu)化后的策略顯著降低了碰撞率，大幅提升了自動(dòng)駕駛系統(tǒng)在極端場(chǎng)景下的魯棒性，為端到端策略在長(zhǎng)尾場(chǎng)景中的優(yōu)化提供了有效驗(yàn)證與可行路徑。

由于公眾號(hào)改版，為防錯(cuò)過(guò)更多資源，給我們加個(gè)星標(biāo)吧

說(shuō)明：來(lái)源：小米技術(shù)、微博@雷軍，如需轉(zhuǎn)載，請(qǐng)?jiān)陂_(kāi)頭注明來(lái)源。僅供學(xué)習(xí)交流分享使用，版權(quán)歸原作者所有，文章只代表作者本人觀點(diǎn)，不代表公眾號(hào)立場(chǎng)。如有侵權(quán)，請(qǐng)聯(lián)系我們（Hilib oy）刪除，感謝支持！也歡迎有興趣的朋友分享、投稿、申請(qǐng)轉(zhuǎn)載、互開(kāi)長(zhǎng)白。

了解更多信息

↓↓↓歡迎點(diǎn)贊和推薦哦