點擊下方“JavaEdge”，選擇“設(shè)為星標”

第一時間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

0 前言 第一期

AI發(fā)展之快令人難以置信，畢竟就在一年前，我們還在為生成正確數(shù)量的手指而苦惱 。

過去幾年，開源模型和藝術(shù)工具迎來了關(guān)鍵性進展，AI 創(chuàng)意工具的可及性前所未有地提升，而我們可能才剛剛觸及冰山一角。一起回顧 2024 年 AI & 藝術(shù)領(lǐng)域的重要里程碑、工具和突破，同時展望 2025 年的發(fā)展趨勢。

1 2024 年重大發(fā)布

重點介紹在圖像和視頻生成等藝術(shù)創(chuàng)意領(lǐng)域的重大突破，特別是開源項目的進展。

自從 Stable Diffusion（穩(wěn)定擴散）最初發(fā)布以來，開源圖像生成模型在文本生成圖像、圖像編輯和可控圖像生成等方面迅速發(fā)展。如今，開源模型在許多任務(wù)上的表現(xiàn)已能與閉源模型媲美，甚至超越。

2024 年，擴散模型（Diffusion Models）的范式上迎來了巨大轉(zhuǎn)變——從傳統(tǒng)的 U-Net 結(jié)構(gòu)轉(zhuǎn)向Diffusion Transformer（DiT），并且在目標函數(shù)上從擴散過程切換到了流匹配（Flow Matching）。

擴散模型與高斯流匹配在數(shù)學(xué)上是等價的，而流匹配提供了一種新的網(wǎng)絡(luò)輸出參數(shù)化方式，與以往的擴散模型有所不同。

推薦閱讀：如果你對流匹配及其與擴散模型的關(guān)系感興趣，可以查看Google DeepMind的一篇精彩博客。

實戰(zhàn)應(yīng)用

• Stable Diffusion 3：最早宣布采用 DiT 結(jié)構(gòu)的模型

• HunyuanDiT：首個真正開源的 DiT 結(jié)構(gòu)模型

• 后續(xù)發(fā)布：AuraFlow、Flux.1、Stable Diffusion 3.5

在開源圖像生成模型的發(fā)展歷程中，Flux.1的發(fā)布堪稱一個里程碑。該模型在多個基準測試中超越了 Midjourney v6.0 和 DALL·E 3（高清版），成為新的開源標桿。

1.3 個性化與風(fēng)格化

圖像生成模型的進步也帶來了個性化和可控生成技術(shù)的重大提升。

早在 2022 年 8 月，Textual Inversion（文本嵌入）和DreamBooth（夢幻訓(xùn)練）讓我們能夠向文本生成圖像模型引入新概念，極大拓展了其可能性。這些技術(shù)催生了一系列改進，如 LoRA（低秩自適應(yīng)微調(diào)）等。

但微調(diào)模型的上限仍受基礎(chǔ)模型質(zhì)量的限制。Stable Diffusion XL（SDXL）的出現(xiàn)改變了這一現(xiàn)狀，使個性化和可控生成邁上新臺階。

零樣本（Zero-shot）技術(shù)：僅需一張參考圖像，無需訓(xùn)練，即可生成高質(zhì)量肖像

2025 年展望： 盡管 DiT 結(jié)構(gòu)的模型如 Flux 和 SD3.5 表現(xiàn)出色，但尚未完全超越 SDXL。這可能是因為我們對 DiT 結(jié)構(gòu)中不同組件的語義作用仍缺乏深入理解。2025 年或?qū)⒊蔀橥黄七@一瓶頸的關(guān)鍵之年，屆時我們或許能充分挖掘 DiT 的潛力，開啟下一代圖像生成模型的新篇章。

1.4 視頻生成

相比圖像生成，AI 視頻生成仍有很長的路要走，但相較一年前，進步已經(jīng)十分顯著。

盡管我們更關(guān)注開源項目，但不得不承認，OpenAI 的 Sora極大地改變了人們對 AI 視頻生成能力的期待。正如fofr在《AI 視頻正在迎來它的 Stable Diffusion 時刻》中提到的那樣，Sora 讓所有人意識到了 AI 生成視頻的真正可能性。

開源視頻生成模型的崛起

• CogVideoX

• Mochi

• Allegro

• LTX Video

• HunyuanVideo

AI 視頻生成面臨的主要挑戰(zhàn)包括： ?運動質(zhì)量?連貫性?一致性?計算資源需求

盡管目前大多數(shù)開源視頻模型仍然難以在普通硬件上運行，但 2024 年的進展令人矚目，預(yù)計2025 年將迎來更大的突破。

1.5 音頻生成

過去一年，AI 音頻生成從簡單音效發(fā)展到完整帶歌詞的歌曲，進步顯著。但由于音頻信號的復(fù)雜性及訓(xùn)練數(shù)據(jù)的稀缺，挑戰(zhàn)依然存在。

2024 年開源音頻工具

• OuteTTS&IndicParlerTTS：文本轉(zhuǎn)語音（TTS）

• Whisper Large v3 Turbo：語音識別（ASR）

2025 年剛開始，音頻領(lǐng)域就已迎來多項突破：Kokoro、LLasa TTS、OuteTTS 0.3（TTS）JASCO、YuE（音樂生成）

2 2024年表現(xiàn)亮眼的創(chuàng)意工具

開源的魅力在于社區(qū)的共同探索、改進和創(chuàng)新。2024 年，許多優(yōu)秀的創(chuàng)意 AI 工具應(yīng)運而生，其中包括：

• Flux 微調(diào)工具（由 ostris 開發(fā)）

• Face to All（結(jié)合 InstantID 和 SDXL LoRA）

• Flux 風(fēng)格塑形（光學(xué)錯覺與風(fēng)格遷移）

• Diffusers Outpainting（無縫擴展圖像）

• Live Portrait & Face Poke（讓靜態(tài)人像動起來）

• TRELLIS（高質(zhì)量 3D 資產(chǎn)生成模型）

• IC-Light（智能光照調(diào)整工具）

2025 年，開源將在視頻、動態(tài)內(nèi)容和音頻模型方面迎頭趕上，迎來更多跨模態(tài)的可能性。隨著計算優(yōu)化和量化技術(shù)的發(fā)展，我們可以期待開源視頻模型的巨大飛躍。

4 強勢開局——2025 年 1 月 25 日的開源發(fā)布

• YuE（全曲 AI 音樂生成模型，媲美閉源模型）

• Hunyuan 3D-2、SPAR3D、DiffSplat（3D 生成新星）

• Lumina-Image 2.0（2B 參數(shù)圖像生成模型，挑戰(zhàn) Flux.1）

• ComfyUI-to-Gradio 教程（將 ComfyUI 工作流轉(zhuǎn)換為 Gradio 應(yīng)用）

全新 AI 創(chuàng)意月刊來了！我將每月為大家精選 AI 創(chuàng)意領(lǐng)域的最新動態(tài)，助你輕松掌握前沿工具與趨勢！

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！