公司情報(bào)專(zhuān)家《財(cái)經(jīng)涂鴉》獲悉，9月9日，字節(jié)跳動(dòng)Seed公眾號(hào)正式宣布，發(fā)布新一代圖像創(chuàng)作模型Seedream 4.0，采用同一套構(gòu)架實(shí)現(xiàn)文生圖與通用編輯能力，融合常識(shí)和推理能力，在多模態(tài)效果、速度和可用性上較前代模型均實(shí)現(xiàn)顯著突破。

通過(guò)多模態(tài)玩法拓展、風(fēng)格化美感提升、邏輯理解力增強(qiáng)、自適應(yīng)與4K生成、推理速度躍升等關(guān)鍵能力提升，Seedream 4.0于綜合評(píng)測(cè)中取得領(lǐng)先。目前，Seedream 4.0已正式上線(xiàn)，用戶(hù)可通過(guò)即夢(mèng)、豆包、火山方舟等平臺(tái)直接體驗(yàn)。

據(jù)字節(jié)跳動(dòng)Seed團(tuán)隊(duì)自我簡(jiǎn)介，團(tuán)隊(duì)成立于2023年，致力于尋找通用智能的新方法，追求智能上限。團(tuán)隊(duì)研究方向涵蓋 LLM、GenMedia、AI for Science、機(jī)器人等，在中國(guó)、新加坡、美國(guó)等地設(shè)有實(shí)驗(yàn)室和崗位。

該公眾號(hào)于2024年4月29日以“豆包大模型”名稱(chēng)注冊(cè)，2025年4月26日更名為“字節(jié)跳動(dòng)Seed”。

「更是一個(gè)完整的多模態(tài)創(chuàng)意引擎」

團(tuán)隊(duì)強(qiáng)調(diào)，Seedream 4.0強(qiáng)化了理解能力且運(yùn)用多維數(shù)據(jù)聯(lián)合訓(xùn)練，令圖像生成不再局限于單點(diǎn)能力，而是已具備通用多模態(tài)創(chuàng)意引擎的雛形。同時(shí)，在專(zhuān)業(yè)化場(chǎng)景的創(chuàng)作中，Seedream 4.0對(duì)于高知識(shí)密度內(nèi)容的生成處理已達(dá)初階水平。

整體來(lái)看，Seedream 4.0不僅是一個(gè)圖像生成模型，更是一個(gè)完整的多模態(tài)創(chuàng)意引擎。

據(jù)悉，其最新能力目前可支持八種基礎(chǔ)功能，包括精準(zhǔn)編輯、靈活參考、視覺(jué)信號(hào)可控生成、上下文推理生成、多圖參考生成、多圖輸出、高級(jí)文字渲染與排版、自適應(yīng)比例與4K生成等。

例如，在上下文推理生成功能中，Seedream 4.0不僅可以理解物理與時(shí)間約束、三維空間等復(fù)雜語(yǔ)境，還能在解謎、填字、續(xù)寫(xiě)漫畫(huà)等任務(wù)中保持風(fēng)格一致與細(xì)節(jié)精致，推理與創(chuàng)意生成能力突出；而其在圖像編輯方面的能力，對(duì)廣告設(shè)計(jì)、電商修圖、影視后期等場(chǎng)景尤為重要，大幅減少了人工二次修正的成本。

此外，Seedream 4.0在文生圖和單圖編輯方面亦有大幅提升。文生圖方面，其特別增強(qiáng)了密集文字渲染和復(fù)雜語(yǔ)義理解能力，較其他同類(lèi)模型在畫(huà)面質(zhì)感、光影自然度和色彩協(xié)調(diào)性上優(yōu)勢(shì)明顯；單圖編輯方面，其在指令遵循、參考一致性、結(jié)構(gòu)完整性和文字編輯方面實(shí)現(xiàn)了平衡，既能靈活完成風(fēng)格轉(zhuǎn)換、視角變換等復(fù)雜任務(wù)，又能保持畫(huà)面結(jié)構(gòu)穩(wěn)定。

在多模態(tài)擴(kuò)展方面，Seedream 4.0采用同一套構(gòu)架實(shí)現(xiàn)文生圖與編輯能力的統(tǒng)一，并在聯(lián)合訓(xùn)練中實(shí)現(xiàn)相互的能力增強(qiáng)。

例如，團(tuán)隊(duì)將前續(xù)版本的 Seedream文生圖與SeedEdit 圖像編輯能力整合到同一套架構(gòu)中，保持高質(zhì)量的圖像生成與高一致性的特征參考，實(shí)現(xiàn)了生成和編輯統(tǒng)一；同時(shí)，團(tuán)隊(duì)構(gòu)建了大規(guī)�？蓴U(kuò)展的多模態(tài)數(shù)據(jù)處理鏈路，能夠快速高效構(gòu)建大規(guī)模、高質(zhì)量的編輯數(shù)據(jù)對(duì)。

軟硬件串聯(lián)協(xié)同，實(shí)現(xiàn)高質(zhì)量與高效生成

同時(shí)，在Seedream 4.0中，團(tuán)隊(duì)還在推理環(huán)節(jié)進(jìn)行了多層次優(yōu)化，對(duì)算法和硬件進(jìn)行深入改造。

通過(guò)對(duì)抗蒸餾、分布匹配、量化與稀疏化、推測(cè)解碼一整套加速方案，Seedream 4.0 在實(shí)際應(yīng)用中既能生成高質(zhì)量的4K圖像，也能實(shí)現(xiàn)最快秒級(jí)推理生成2K圖片，實(shí)現(xiàn)了高質(zhì)量和高效生成的統(tǒng)一。

今年8月份，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)發(fā)布并開(kāi)源了全模態(tài) PyTorch 原生訓(xùn)練框架——VeOmni，采用以模型為中心的分布式訓(xùn)練方案，可大幅降低工程開(kāi)銷(xiāo)，提升訓(xùn)練效率和擴(kuò)展性，將數(shù)周的工程開(kāi)發(fā)時(shí)間縮短至幾天。

7月份，Seed團(tuán)隊(duì)還正式發(fā)布端到端同聲傳譯模型Seed LiveInterpret 2.0，據(jù)稱(chēng)是“首個(gè)延遲&準(zhǔn)確率接近人類(lèi)水平的產(chǎn)品級(jí)中英語(yǔ)音同傳系統(tǒng)”。

該基于全雙工端到端語(yǔ)音生成理解框架，支持中英互譯，可實(shí)時(shí)處理多人語(yǔ)音輸入，實(shí)現(xiàn)極低的延遲的“邊聽(tīng)邊說(shuō)”。其在多人會(huì)議等復(fù)雜場(chǎng)景中英雙向翻譯準(zhǔn)確率超70%，單人演講翻譯準(zhǔn)確率超80%，接近真人專(zhuān)業(yè)同傳水平。

同時(shí)，翻譯延遲可低至2-3 秒，較傳統(tǒng)機(jī)器同傳系統(tǒng)降低超60%，實(shí)現(xiàn)了真正的“邊聽(tīng)邊說(shuō)”翻譯。

團(tuán)隊(duì)彼時(shí)曾透露，Ola Friend耳機(jī)將于8月底接入Seed LiveInterpret 2.0，成為首個(gè)支持該模型的智能硬件設(shè)備。

作者：蘇打

編輯：tuya

出品：財(cái)經(jīng)涂鴉（ID：caijingtuya）