国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

訓(xùn)練快4倍!ArcFlow用「非線性」魔法實現(xiàn)FLUX/Qwen推理40倍加速

0
分享至



在生成式 AI 的浪潮中,我們見證了從 Stable Diffusion 到 FLUX、Qwen-Image 等大規(guī)模擴散模型的畫質(zhì)飛躍。然而,這種飛躍并非沒有代價。為了從純噪聲中 “雕刻” 出清晰的圖像,這些模型通常需要進行40 到 100 步(NFE)的迭代去噪。這種延遲使得模型很難真正應(yīng)用于實際的實時生成或大規(guī)模服務(wù)。

于是,“少步生成”(Few-step Generation)成為了必爭之地。對于原本教師模型曲折的生成軌跡,目前的少步加速方案(如 Progressive Distillation, Distribution Matching 等)都在試圖做同一件事:把彎路拉直,一步到達終點。

然而,原本高維空間的生成軌跡極其復(fù)雜,強行 “拉直” 會導(dǎo)致軌跡上的幾何失配(Geometric Mismatch)。這直接導(dǎo)致了少步生成時的結(jié)構(gòu)崩壞和細節(jié)丟失。

有沒有一種方法,既能快,又能順應(yīng)原本蜿蜒的生成軌跡?

復(fù)旦大學(xué)與微軟亞洲研究院帶來的ArcFlow給出了答案:如果路是彎的,那就學(xué)會 “漂移”,而不是把路修直。



  • 論文地址:https://arxiv.org/abs/2602.09014
  • 項目代碼:https://github.com/pnotp/ArcFlow

一、 困境:為什么 “走直線” 難以學(xué)習(xí)?

在擴散模型中,教師模型(Pre-trained Teacher)的生成過程本質(zhì)上是在高維空間中求解微分方程并進行多步積分。由于圖像流形的復(fù)雜性,教師模型原本的采樣軌跡通常是一條蜿蜒的曲線,其切線方向(即速度場)隨時間步不斷變化。

為了加速,現(xiàn)有的蒸餾方法(如 Progressive Distillation, Instaflow 等)嘗試將這個軌跡壓縮成一步直線抵達。它們的邏輯是:既然走曲線慢,那就訓(xùn)練學(xué)生模型,把起點(噪聲)和終點(圖像)之間連成一條直線。如果學(xué)生能學(xué)會走這條直線,那推理不就只需要一步了嗎?

這種策略帶來了兩個致命問題:

1.幾何失配(Geometric Mismatch):教師模型原本的權(quán)重是基于曲線軌跡訓(xùn)練出來的。強行讓學(xué)生模型去擬合一條直線,相當(dāng)于讓它 “背叛” 教師原本的生成先驗。這種幾何上的不匹配,導(dǎo)致學(xué)生模型很難學(xué),或者學(xué)出來的東西結(jié)構(gòu)崩壞。

2.學(xué)習(xí)成本高:為了強行扭轉(zhuǎn)軌跡,學(xué)生模型往往需要進行全參數(shù)微調(diào)(Full Fine-tuning)。這不僅訓(xùn)練慢、顯存開銷大,而且容易導(dǎo)致 “災(zāi)難性遺忘”,破壞大模型原本優(yōu)秀的泛化能力。

所以我們經(jīng)??吹剑汉芏嗾麴s后的模型,雖然速度快了,但生成質(zhì)量不穩(wěn)定,甚至對復(fù)雜的 Prompt 理解能力下降。

如果不強制拉直,我們還能怎么快起來?

二、 洞察:速度場不是隨機的,它是連續(xù)的

ArcFlow 團隊重新審視了教師模型的軌跡,根據(jù) ODE 的理論規(guī)律,在相鄰的時間步之間,去噪的速度方向并不是跳躍式變化的,而是存在極強的相關(guān)性。這就像一輛賽車在過彎道,下一秒的方向和速度,很大程度上取決于當(dāng)前秒的狀態(tài)和慣性。既然教師模型的軌跡本身就是連續(xù)變化的,為什么我們不直接去建模這種 “變化規(guī)律”,而不是強行把它改成直線呢?

如果我們能找到一種參數(shù)化方法,能夠描述這種 “彎曲” 的趨勢,那么學(xué)生模型就不需要費力去把路拉直,而是可以順著教師的勢能,用極少的步數(shù) “滑” 向終點。

基于這個核心洞察,ArcFlow 誕生了。



三、 ArcFlow 的三大殺手锏



1. 動量參數(shù)化(Momentum Parameterization):給生成過程加個 “慣性”

為了捕捉上述的 “速度連續(xù)性”,ArcFlow 引入了物理學(xué)中經(jīng)典的 “動量”(Momentum)概念。

在傳統(tǒng)方法中,模型在每個時間步獨立預(yù)測速度。而在 ArcFlow 中,我們將速度場建模為多個連續(xù)動量過程的混合。通俗來說,模型不僅預(yù)測當(dāng)前的 “速度”,還預(yù)測了一個 “動量因子”(Momentum Factor)。這個因子描述了速度隨時間衰減或增強的趨勢。這就好比我們知道了物體的初速度和受力情況(動量),哪怕不看中間過程,我們也能通過物理公式直接預(yù)判它未來的軌跡是彎曲的還是筆直的。

這一設(shè)計讓 ArcFlow 能夠地構(gòu)建非線性軌跡。在 2-4 步的極少步數(shù)下,這種非線性軌跡比生硬的直線能更精確地貼合教師模型的原始路徑。

2. 解析求解器(Analytic Solver):數(shù)學(xué)層面的 “零誤差”

既然已經(jīng)用 “動量公式” 完美定義了速度隨時間的演變規(guī)律,那么這條軌跡的積分就是可解析的。

也就是說,我們可以推導(dǎo)出一個閉式解(Closed-form Solution)。

這意味著,ArcFlow 不需要像傳統(tǒng)求解器那樣通過離散步去擬合軌跡。它只需要一次前向傳播,就能通過數(shù)學(xué)公式,精確無誤地計算出任意時間間隔后的終端狀態(tài)。

這種數(shù)學(xué)層面上的 “零誤差” 積分,是 ArcFlow 能夠?qū)崿F(xiàn)高精度流匹配的關(guān)鍵。它消除了傳統(tǒng)蒸餾方法中的離散化噪聲,讓生成的圖像細節(jié)清晰。

3. 極簡訓(xùn)練策略:<5% 參數(shù)的 LoRA 微調(diào)

這是最讓開發(fā)者興奮的一點。

正如前文所說,傳統(tǒng)方法因為要 “強行拉直” 軌跡,不得不重寫整個模型的參數(shù)。而 ArcFlow 選擇 “順勢而為”,它的非線性軌跡天然契合教師模型的預(yù)訓(xùn)練分布。

因此,ArcFlow 不需要破壞教師模型原本的參數(shù)。實驗證明,僅需通過 LoRA 微調(diào)不到 5% 的參數(shù)(主要是為了適應(yīng)新的動量預(yù)測頭),就能實現(xiàn)完美的軌跡對齊。

這種策略帶來了兩大紅利:

  • 訓(xùn)練收斂極快:相比 TwinFlow 等全量微調(diào)方法,ArcFlow 的收斂速度快了超過 4 倍
  • 保留教師先驗:最大程度繼承了 FLUX/Qwen 原本龐大的知識庫,不像其他蒸餾模型那樣容易出現(xiàn)崩壞或畫質(zhì)劣化。

四、 實驗數(shù)據(jù)

團隊在Qwen-Image-20BFLUX.1-dev這兩個目前最強的開源模型上進行了驗證。結(jié)果表明,ArcFlow 在速度、質(zhì)量和效率上實現(xiàn)了的平衡。

1. 推理速度

從原始的 50-100 步迭代,直接壓縮至2 步(2 NFE)。在相同硬件上,實現(xiàn)了超過 40 倍加速。

2. 畫質(zhì)表現(xiàn)

在 Geneval、DPG-Bench 等基準(zhǔn)測試中,ArcFlow 在 2 步設(shè)定下的 FID 和語義一致性得分大部分優(yōu)于或持平目前的 SOTA 方法。





視覺對比:

從論文展示的效果圖來看,在同樣的 2 步推理下,其他線性蒸餾方法生成的圖像容易出現(xiàn)背景模糊、物體結(jié)構(gòu)扭曲(如折斷 / 重影的劍、模糊的背景),尤其是在不同的初始噪聲下,其他方法容易出現(xiàn)生成模式相似、多樣性坍縮的情況。而 ArcFlow 生成的圖像不僅清晰度高,而且保留了教師模型原本的豐富細節(jié)和畫面多樣性。



3. 訓(xùn)練效率

得益于更精準(zhǔn)的軌跡擬合和 LoRA 策略,ArcFlow 的訓(xùn)練曲線令人賞心悅目。在相同迭代步數(shù)下,ArcFlow 的 FID 分數(shù)和畫面質(zhì)量大幅領(lǐng)先。對于沒有大規(guī)模算力的實驗室或個人開發(fā)者來說,這大大降低了復(fù)現(xiàn)和定制的門檻。





4. 更多效果展示







五、 總結(jié)

ArcFlow 提出了一種新的少步蒸餾的解決思路:相較于 “把曲線拉直” 的 “蠻力”,不如順應(yīng)原本的模型特征空間,用參數(shù)去描述其復(fù)雜性。通過動量參數(shù)化解析求解器,ArcFlow 避免了不穩(wěn)定的對抗性目標(biāo)函數(shù)和全參數(shù)訓(xùn)練,從而實現(xiàn)了更快的收斂速度和更高效的蒸餾過程。這為未來的高效生成模型研究提供了一個極具潛力的方向。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
18年前,揭露“三鹿奶粉”的上海記者簡光洲,最后被報復(fù)了嗎?

18年前,揭露“三鹿奶粉”的上海記者簡光洲,最后被報復(fù)了嗎?

毛豆何時歸
2026-02-22 07:19:18
抱緊美日大腿,停飛中國航班、拒絕中國游客的小國,如今怎樣了?

抱緊美日大腿,停飛中國航班、拒絕中國游客的小國,如今怎樣了?

超喜歡我的狗子
2026-02-27 13:53:44
就在剛剛,中國外交部發(fā)布嚴正聲明!

就在剛剛,中國外交部發(fā)布嚴正聲明!

安安說
2026-02-27 09:20:07
默茨專機離開中國,第一道難關(guān)出現(xiàn)!特朗普掀開新底牌,混戰(zhàn)打響

默茨專機離開中國,第一道難關(guān)出現(xiàn)!特朗普掀開新底牌,混戰(zhàn)打響

吳欣純Deborah
2026-02-27 14:25:05
賴清德投誠大陸?“臺獨”后院起火,大陸早有判斷,這事不簡單

賴清德投誠大陸?“臺獨”后院起火,大陸早有判斷,這事不簡單

書紀(jì)文譚
2026-02-27 14:17:01
這次荷蘭沒話說了!中方正式宣布:更換國內(nèi)供應(yīng)商,從此不再合作

這次荷蘭沒話說了!中方正式宣布:更換國內(nèi)供應(yīng)商,從此不再合作

卷史
2026-02-27 04:11:03
大丑聞!女足球隊30人遭偷拍5年:更衣室浴室均有攝像頭 罪犯落網(wǎng)

大丑聞!女足球隊30人遭偷拍5年:更衣室浴室均有攝像頭 罪犯落網(wǎng)

風(fēng)過鄉(xiāng)
2026-02-27 07:06:09
日本鹿兒島居酒屋禁中國客進入 門口簡體字通告引熱議

日本鹿兒島居酒屋禁中國客進入 門口簡體字通告引熱議

環(huán)球趣聞分享
2026-02-27 13:20:30
上海打響“第一槍”,樓市要抄底了?

上海打響“第一槍”,樓市要抄底了?

大川東山再起
2026-02-26 16:50:19
我見過最傻的父母,攥著大把的存款和退休金,卻等著給子女當(dāng)遺產(chǎn)

我見過最傻的父母,攥著大把的存款和退休金,卻等著給子女當(dāng)遺產(chǎn)

i書與房
2026-02-25 17:22:34
向佑怒喊遺產(chǎn)分配不公,向太直接拉黑,豪門少爺變“低保戶”?

向佑怒喊遺產(chǎn)分配不公,向太直接拉黑,豪門少爺變“低保戶”?

小椰的奶奶
2026-02-26 15:03:48
50歲舒淇和老公馮德倫回臺北娘家拜年,倆人古怪玩鬧,真的好歡樂

50歲舒淇和老公馮德倫回臺北娘家拜年,倆人古怪玩鬧,真的好歡樂

鄉(xiāng)野小珥
2026-02-26 14:00:53
蘋果發(fā)布會官宣,曝新 mini 即將發(fā)布

蘋果發(fā)布會官宣,曝新 mini 即將發(fā)布

全是技能
2026-02-27 12:21:11
26022雙色球:021再中5??+0??,近期連中,精選旺號沖6+1!

26022雙色球:021再中5??+0??,近期連中,精選旺號沖6+1!

好笑娛樂君每一天
2026-02-27 11:23:32
雷軍帶火蕉內(nèi)滑雪服:客服表示299元優(yōu)惠已結(jié)束,當(dāng)前為629元

雷軍帶火蕉內(nèi)滑雪服:客服表示299元優(yōu)惠已結(jié)束,當(dāng)前為629元

PChome電腦之家
2026-02-24 17:02:37
新加坡大滿貫賽:4強對陣出爐!國乒3:1淘汰頭號種子,沖擊冠軍

新加坡大滿貫賽:4強對陣出爐!國乒3:1淘汰頭號種子,沖擊冠軍

林子說事
2026-02-27 12:58:22
剛剛!津巴布韋停止向中國出口一切鋰礦制品,包括原礦和精煉鋰礦

剛剛!津巴布韋停止向中國出口一切鋰礦制品,包括原礦和精煉鋰礦

別人都叫我阿腈
2026-02-26 18:40:33
雙喜臨門!中國男籃贏球后,賽后又傳好消息:出線形勢亂成一鍋粥

雙喜臨門!中國男籃贏球后,賽后又傳好消息:出線形勢亂成一鍋粥

陌識
2026-02-27 10:37:19
我遇見了重病的前妻,心軟給了她20萬,她女兒給我1封信,我淚崩

我遇見了重病的前妻,心軟給了她20萬,她女兒給我1封信,我淚崩

千秋文化
2026-02-24 20:30:43
不容易!全員殺紅眼逆轉(zhuǎn)日本!5人滿分大秋封神,繼偉證明自己

不容易!全員殺紅眼逆轉(zhuǎn)日本!5人滿分大秋封神,繼偉證明自己

后仰大風(fēng)車
2026-02-26 20:27:20
2026-02-27 15:24:49
機器之心Pro incentive-icons
機器之心Pro
專業(yè)的人工智能媒體
12374文章數(shù) 142570關(guān)注度
往期回顧 全部

科技要聞

英偉達業(yè)績亮眼仍跌5% 兩大因素成核心隱憂

頭條要聞

中虎跳峽游客落水 目擊者:其女友稱"回去就要結(jié)婚的"

頭條要聞

中虎跳峽游客落水 目擊者:其女友稱"回去就要結(jié)婚的"

體育要聞

一場必須要贏的比賽,男籃何止擊敗了裁判

娛樂要聞

繼網(wǎng)暴谷愛凌后 美國欲沒收其全部收入

財經(jīng)要聞

魅族手機,終成棄子?

汽車要聞

寶馬X5傳承版發(fā)布:給經(jīng)典G05的一場體面謝幕?

態(tài)度原創(chuàng)

教育
藝術(shù)
時尚
旅游
游戲

教育要聞

教育部實施學(xué)生體質(zhì)強健計劃,減輕用眼負擔(dān),把體育課還給孩子們

藝術(shù)要聞

紫氣東來,好運一整年!

今年春天最美搭配:西裝+半裙,怎么穿都好看!

旅游要聞

剛剛確認!蜜雪冰城全國首家 “雪王室內(nèi)樂園”真的來了

《狂戰(zhàn)傳說》復(fù)刻版今日發(fā)售 無D加密保護

無障礙瀏覽 進入關(guān)懷版