今天，商湯科技正式發(fā)布并開源日日新SenseNova U1 系列原生理解生成統(tǒng)一模型。它基于商湯于今年三月自主研發(fā)的 NEO-unify架構，在單一模型架構上統(tǒng)一了多模態(tài)理解、推理與生成。

NEO-unify架構徹底摒棄了主流的拼接式，去除了視覺編碼器（VE）和變分自編碼器（VAE），重新構建了統(tǒng)一的表征空間，并且深入融入每一層計算中，從而實現(xiàn)從模態(tài)集成向原生統(tǒng)一的范式跨越。

SenseNova U1系列模型能夠將語言與視覺信息作為統(tǒng)一的復合體直接建模，實現(xiàn)語言和視覺信息的高效協(xié)同，讓理解與生成能力同步增強，在保留語義豐富度的同時，維持像素級的視覺保真度。

在邏輯推理與空間智能等方向上，它能夠深度理解物理世界的復雜布局與精細關系；在未來，它還能為機器人提供具身大腦，實現(xiàn)在單一模型閉環(huán)內完成從復雜環(huán)境感知、邏輯推演到精準任務執(zhí)行的全過程，為推動技術與產業(yè)發(fā)展提供重要基礎與關鍵引擎。

本次開源發(fā)布的是 SenseNova U1 的輕量版系列 SenseNova U1 Lite。它包含兩個不同規(guī)格的模型：

?SenseNova-U1-8B-MoT：基于稠密骨干網絡

?SenseNova-U1-A3B-MoT：基于混合專家（MoE） 骨干網絡

訪問GitHub
https://github.com/OpenSenseNova/SenseNova-U1、Hugging Facehttps://huggingface.co/collections/sensenova/sensenova-u1了解更多信息。我們也將在近期公布詳實的技術報告。

01、極致高效，以小搏大：開源 SOTA，比肩商用

效率，是統(tǒng)一模型架構的核心技術優(yōu)勢。

傳統(tǒng)多模態(tài)模型是把視覺編碼器和語言骨干通過適配器拼接在一起的。它像一個“說不同語言的人組成的工作組”：有人專門看圖，把圖像翻譯為語言，有人專門理解文字，進行推理，有人把結果再翻譯為設計指令，把圖畫出來。每完成一次任務，信息都要在不同成員之間來回傳遞。這個過程雖然可行，但難免會有等待、誤解和信息損耗。為了彌補這些損耗，模型往往需要做得更大才能達到好的效果。

SenseNova U1 是基于統(tǒng)一表征空間構建的，更像是一個從一開始就同時掌握多項技能的人。它不是先看懂圖像、再翻譯成文字、再交給另一個系統(tǒng)理解，而是在同一套“思考方式”里直接處理圖像、文字等不同信息。圖像和語言不再是兩套系統(tǒng)之間的接力，而是在同一個大腦中自然融合。這樣帶來的好處是：信息流轉更快捷，理解更直接，生成更高效。模型不需要依賴單純堆大參數(shù)來彌補中間轉換的損耗，而是通過統(tǒng)一的內部表征，把不同模態(tài)的信息以更緊湊、更高密度的方式組織起來。

簡單來說，傳統(tǒng)架構像是“多人協(xié)作、層層轉述”；SenseNova U1 更像是“一個全能大腦，直接理解，直接表達”。少了中間轉譯，信息損耗更低，也能在相對更精簡的模型規(guī)模下，實現(xiàn)更強的多模態(tài)理解與生成能力。

實驗結果驗證了我們的想法。在涵蓋圖像理解、圖像生成與編輯、空間智能和視覺推理的多項基準測試中，SenseNova U1 Lite均達到同量級開源模型SOTA水平，為統(tǒng)一多模態(tài)理解與生成樹立了新的標桿。甚至僅憑8B-MoT的較小規(guī)格，就能達到甚至超越部分大型商業(yè)閉源模型，展現(xiàn)出全維度多領域的統(tǒng)治力。

圖像理解基準測試結果、圖像生成基準測試結果、視覺推理基準測試結果

以下兩組對比圖更直觀地展現(xiàn)了 SenseNova U1 Lite 在效率上的突出優(yōu)勢。在通用的圖像生成測試中，SenseNova U1 Lite不但在圖像生成質量上比肩 Qwen-Image 2.0 Pro或 Seedream 4.5 等大型閉源模型，達到商業(yè)級水準，還在推理響應速度上有顯著優(yōu)勢。即使在極具挑戰(zhàn)性、開源模型一直做不好的復雜信息圖生成任務中，SenseNova U1 Lite 也表現(xiàn)出商業(yè)級的水準，對復雜信息圖的排版和文字有很強的控制力。

Generation Latency vs. Averaging Performance on OneIG (EN, ZH), LongText (EN, ZH), BizGenEval (Easy, Hard), CVTG and IGenBench

Generation Latency vs. Averaging Performance on Infographic Benchmarks, i.e., BizGenEval (Easy, Hard), and IGenBench

以下實際例子，展現(xiàn)了 SenseNova U1 Lite的商業(yè)級復雜信息圖生成能力。

我們正在沿著當前的技術路徑繼續(xù) Scale，計劃在未來推出體量更大的模型。我們相信，基于高效的原生架構，可以以低得多的計算成本達到國際頂尖模型的水平。

02、業(yè)內首創(chuàng)：連續(xù)性圖文創(chuàng)作輸出

憑借NEO-Unify架構的優(yōu)勢，SenseNova U1在業(yè)內首個實現(xiàn)連續(xù)性的圖文創(chuàng)作輸出。并且只需要單次單模型調用，就能輸出更高質量的作品，相比傳統(tǒng)范式，實現(xiàn)了效率的大幅提升。

SenseNova U1 所具備的原生圖文理解生成能力，能天然將圖像和文本底層融合信號完整的保留上下文中，區(qū)別于過去只能利用多模型串聯(lián)勉強實現(xiàn)，它的圖像間風格具備明顯的高一致性，能在統(tǒng)一表征空間進行高效連貫思考。

下面兩個案例中，SenseNova U1 通過連貫高保真度的圖文交錯思考輸出。

任務一：五分熟牛排做法：SenseNova U1 可以通過思考和規(guī)劃產生分步的過程，并且給每一步輸出對應的圖像展示。各個步驟的圖示表現(xiàn)出極高的一致性。

任務二：繪制一個鋼鐵俠圖案：它可以從掃描草稿出發(fā)，逐步進行連續(xù)創(chuàng)作，最終做出一個完成度很高的圖像。每一步創(chuàng)作的過程對于前一步的結構和細節(jié)都做了精準的保持 —— 一個統(tǒng)一表征的共享上下文在其中發(fā)揮了關鍵作用。

03、全網開源，即刻可用

開源部署

? GitHub：https://github.com/OpenSenseNova/SenseNova-U1

? Hugging Face：https://huggingface.co/collections/sensenova/sensenova-u1

? 歡迎調用 SenseNova U1 Skill
https://github.com/OpenSenseNova/SenseNova-Skills，瀏覽海量樣例庫，獲取Prompt編寫指南，化繁為簡（繁雜文->有趣圖），讓您的Agent成為信息圖生成高手

在線體驗

? 即將上線辦公小浣熊

我們相信，原生統(tǒng)一的多模態(tài)智能是通往 AGI 的必經之路。未來，我們還將持續(xù)推動開源生態(tài)建設，并發(fā)布更大參數(shù)規(guī)模的 U1 系列模型。迎社區(qū)廣大用戶和開發(fā)者提出寶貴建議，共同定義智能交互的未來。

*NEO-unify技術博客：
https://www.sensetime.com/cn/news-detail/51170548?categoryId=73

關于商湯

作為人工智能軟件公司，商湯科技以“堅持原創(chuàng)，讓AI引領人類進步”為使命，旨在持續(xù)引領人工智能前沿研究，持續(xù)打造更具拓展性更普惠的人工智能軟件平臺，推動經濟、社會和人類的發(fā)展，并持續(xù)吸引及培養(yǎng)頂尖人才，共同塑造未來。

商湯科技擁有深厚的學術積累，并長期投入于原創(chuàng)技術研究，不斷增強行業(yè)領先的多模態(tài)、多任務通用人工智能能力，涵蓋感知智能、自然語言處理、決策智能、智能內容生成等關鍵技術領域，同時包含AI芯片、AI傳感器及AI算力基礎設施在內的關鍵能力。

商湯科技業(yè)務涵蓋生成式AI、視覺AI和創(chuàng)新業(yè)務，以高效率、低成本、規(guī)模化的AI創(chuàng)新和落地，打通商業(yè)價值閉環(huán)，引領人工智能進入工業(yè)化發(fā)展階段。商湯前瞻性打造新型人工智能基礎設施——商湯AI大裝置SenseCore，打通算力、算法和平臺，并在此基礎上建立“商湯日日新SenseNova”大模型及研發(fā)體系，以低成本解鎖通用人工智能任務的能力。此外，商湯科技持續(xù)領跑計算機視覺市場，商湯方舟 SenseFoundry以多年積累計算機視覺能力，輔以前沿多模態(tài)大模型，為國內外各行業(yè)提供更加穩(wěn)定高效的視覺Al支撐。

商湯倡導“發(fā)展”的人工智能倫理觀，并積極參與有關數(shù)據(jù)安全、隱私保護、人工智能倫理道德和可持續(xù)人工智能的行業(yè)、國家及國際標準的制訂，與多個國內及多邊機構就人工智能的可持續(xù)及倫理發(fā)展開展了密切合作。商湯《AI可持續(xù)發(fā)展道德準則》被聯(lián)合國人工智能戰(zhàn)略資源指南選錄，并于2021年6月發(fā)表，是亞洲唯一獲此殊榮的人工智能公司。

目前，商湯科技已于香港交易所主板掛牌上市。商湯在香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅得、阿布扎比、迪拜、首爾等地設立辦公室。另外，商湯科技在德國、泰國、印度尼西亞、菲律賓等國家均有業(yè)務。更多信息，請訪問商湯科技網站、微信、微博和領英。

媒體聯(lián)絡及查詢

商湯科技

郵箱：pr@sensetime.com