這項(xiàng)由高通AI研究院（Qualcomm AI Research）聯(lián)合越南郵電學(xué)院共同完成的研究，于2024年發(fā)表在arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2412.02687v3。這篇論文解決了AI圖像生成領(lǐng)域一個(gè)看似簡(jiǎn)單卻困擾業(yè)界已久的問題：如何讓"一步生圖"的AI模型也能理解用戶說的"不要什么"。

在AI繪畫的世界里，有兩種截然不同的工作方式。傳統(tǒng)的AI畫師就像一個(gè)細(xì)心的藝術(shù)家，會(huì)反復(fù)修改畫作幾十次才完成最終作品，這個(gè)過程雖然能產(chǎn)生精美的畫作，但速度相當(dāng)緩慢。而新興的"一步生圖"技術(shù)則像一個(gè)天才畫家，能夠一筆成畫，瞬間完成創(chuàng)作，但問題是這位天才畫家有個(gè)毛病——只會(huì)聽"要畫什么"，卻聽不懂"不要畫什么"。

當(dāng)你告訴傳統(tǒng)的AI畫師"畫一只友善的怪物，但不要讓它看起來很可怕"時(shí)，它能很好地理解你的意思，會(huì)在多次修改中逐步去除那些恐怖元素。但如果你對(duì)一步生圖的AI說同樣的話，它往往會(huì)無視"不要可怕"這部分指令，依然畫出一只令人毛骨悚然的怪物。這就好比你在餐廳點(diǎn)餐時(shí)說"要一份意大利面，但不要加蘑菇"，服務(wù)員卻只聽到了前半句，依然端上來一盤滿是蘑菇的面條。

這個(gè)問題的根源在于兩種AI工作方式的本質(zhì)差異。傳統(tǒng)方法就像一個(gè)有耐心的老師傅，會(huì)在制作過程中不斷調(diào)整，有足夠的時(shí)間來處理"不要什么"的指令。而一步生圖就像一個(gè)行動(dòng)迅速的學(xué)徒，必須在瞬間做出所有決定，沒有機(jī)會(huì)進(jìn)行二次思考和調(diào)整。

為了解決這個(gè)難題，研究團(tuán)隊(duì)開發(fā)了一種名為NASA（Negative-Away Steer Attention，負(fù)面導(dǎo)向注意力）的巧妙方法。這個(gè)方法的核心思想就像給一步生圖的AI裝上了一副"過濾眼鏡"，讓它在創(chuàng)作的瞬間就能識(shí)別并避開不想要的元素。

一、傳統(tǒng)方法為何在一步生圖上失效

要理解NASA方法的巧妙之處，我們首先需要明白為什么傳統(tǒng)的"負(fù)面提示"技術(shù)在一步生圖上會(huì)失效。傳統(tǒng)的AI圖像生成就像一個(gè)攝影師在暗房里沖洗照片，需要經(jīng)過多個(gè)步驟：先顯影，再定影，最后調(diào)色，每個(gè)步驟都可以進(jìn)行微調(diào)。在這個(gè)過程中，AI會(huì)生成兩張照片——一張按照正面指令（"要什么"）生成，另一張按照負(fù)面指令（"不要什么"）生成，然后通過對(duì)比這兩張照片的差異來找到最佳平衡點(diǎn)。

這種被稱為"無分類器引導(dǎo)"（CFG）的技術(shù)就像是在天平的兩端分別放上"想要的效果"和"不想要的效果"，通過不斷調(diào)整砝碼來達(dá)到理想的平衡。由于傳統(tǒng)方法有幾十個(gè)步驟可以進(jìn)行調(diào)整，即使某一步出現(xiàn)偏差，后續(xù)步驟也能及時(shí)糾正。

然而，一步生圖就像是使用拍立得相機(jī)拍照，按下快門的瞬間就必須確定最終效果，沒有后期調(diào)整的機(jī)會(huì)。如果直接將傳統(tǒng)的CFG方法應(yīng)用到一步生圖上，就會(huì)出現(xiàn)"圖像混合"的問題——最終生成的圖片會(huì)變得模糊不清，就像兩張照片重疊在一起一樣，完全失去了應(yīng)有的清晰度和質(zhì)量。

研究團(tuán)隊(duì)通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)他們嘗試在一步生圖模型上使用傳統(tǒng)CFG方法時(shí)，生成的圖像會(huì)出現(xiàn)嚴(yán)重的偽影和質(zhì)量下降。比如要求生成"一張農(nóng)場(chǎng)里牲畜的照片，但不要有牛"時(shí)，傳統(tǒng)一步模型要么完全忽視"不要牛"的指令，要么生成一張模糊不清的奇怪圖片。

二、NASA方法的核心創(chuàng)新

面對(duì)這個(gè)技術(shù)難題，研究團(tuán)隊(duì)沒有選擇在最終圖像上做文章，而是將注意力轉(zhuǎn)向了AI的"思考過程"本身。他們的創(chuàng)新就像是不再試圖在菜做好后挑出不喜歡的配菜，而是在廚師做菜的過程中就告訴他哪些調(diào)料不要放。

NASA方法的核心在于操控AI模型中的"交叉注意力"機(jī)制?？梢园堰@個(gè)機(jī)制想象成AI的"聯(lián)想網(wǎng)絡(luò)"——當(dāng)AI看到文字描述時(shí)，會(huì)在大腦中建立起文字和圖像特征之間的連接。比如看到"可愛的兔子"時(shí)，AI會(huì)聯(lián)想到毛茸茸的質(zhì)感、長(zhǎng)耳朵、小鼻子等視覺特征。

NASA方法的巧妙之處在于，它會(huì)同時(shí)讓AI處理正面描述和負(fù)面描述，然后在AI的"聯(lián)想過程"中進(jìn)行干預(yù)。具體來說，當(dāng)AI根據(jù)"友善的怪物"開始聯(lián)想相關(guān)視覺特征時(shí)，NASA會(huì)同時(shí)讓它聯(lián)想"可怕、邪惡、威脅性"等負(fù)面特征，然后在AI的內(nèi)部表征空間中，用正面聯(lián)想減去負(fù)面聯(lián)想，從而得到最終的創(chuàng)作指導(dǎo)。

這個(gè)過程就像是在AI的大腦中安裝了一個(gè)"實(shí)時(shí)篩選器"。當(dāng)AI準(zhǔn)備調(diào)用某個(gè)視覺特征時(shí)，篩選器會(huì)立即檢查這個(gè)特征是否屬于不想要的類別，如果是的話就會(huì)降低它的影響力。整個(gè)過程發(fā)生在AI創(chuàng)作的瞬間，不需要額外的步驟或時(shí)間。

更令人驚喜的是，NASA方法幾乎不會(huì)增加計(jì)算負(fù)擔(dān)。傳統(tǒng)的CFG方法需要運(yùn)行兩次完整的生成過程，相當(dāng)于計(jì)算量翻倍。而NASA只需要額外計(jì)算負(fù)面特征的聯(lián)想過程，總體計(jì)算量只增加了1.89%，這就像是原來需要兩分鐘做完的事情，現(xiàn)在只需要多花2秒鐘就能獲得更好的效果。

三、訓(xùn)練時(shí)集成負(fù)面指導(dǎo)的創(chuàng)新嘗試

研究團(tuán)隊(duì)并沒有滿足于僅僅在使用時(shí)添加負(fù)面指導(dǎo)，他們更進(jìn)一步探索了在訓(xùn)練階段就集成負(fù)面指導(dǎo)的可能性。這就像是不僅要教會(huì)AI在接到訂單時(shí)如何避免不想要的元素，更要在AI學(xué)習(xí)階段就培養(yǎng)它自覺避免這些元素的能力。

他們選擇了SwiftBrush（簡(jiǎn)稱SB）這個(gè)先進(jìn)的一步生圖訓(xùn)練框架作為改進(jìn)對(duì)象。SwiftBrush的特點(diǎn)是采用"無圖像訓(xùn)練"的方法——它不需要大量的真實(shí)圖片作為訓(xùn)練素材，而是通過讓學(xué)生模型模仿老師模型的"思考方式"來學(xué)習(xí)圖像生成能力。這就像是學(xué)畫畫時(shí)不是臨摹大量畫作，而是學(xué)習(xí)大師的思維方式和創(chuàng)作理念。

在這個(gè)訓(xùn)練過程中，研究團(tuán)隊(duì)做了巧妙的修改。他們讓老師模型在指導(dǎo)學(xué)生時(shí)不僅提供正面的示范，還明確指出哪些做法是錯(cuò)誤的。同時(shí)，他們?cè)趯W(xué)生模型中內(nèi)置了NASA模塊，使其在學(xué)習(xí)過程中就能理解和處理負(fù)面指令。

這種改進(jìn)帶來了顯著的效果提升。使用NASA增強(qiáng)訓(xùn)練的模型在人類偏好評(píng)估（HPSv2）上獲得了31.21分的成績(jī)，創(chuàng)造了一步生圖模型的新紀(jì)錄。這個(gè)分?jǐn)?shù)的意義就像是在一場(chǎng)藝術(shù)比賽中，不僅技術(shù)過硬，更重要的是得到了觀眾的廣泛認(rèn)可和喜愛。

四、廣泛的適用性驗(yàn)證

為了證明NASA方法的普適性，研究團(tuán)隊(duì)在多種不同的一步生圖模型上進(jìn)行了測(cè)試，包括FLUX.1-schnell、SDXL-LCM、SDXL-DMD2等當(dāng)前主流的快速生成模型。結(jié)果顯示，NASA方法就像一個(gè)萬能適配器，能夠成功集成到各種不同架構(gòu)的模型中。

在控制效果的測(cè)試中，NASA展現(xiàn)出了令人印象深刻的精確度。比如在FLUX.1-schnell模型上，NASA能夠以接近100%的成功率移除不想要的特征，而傳統(tǒng)CFG方法在一步生成時(shí)的成功率幾乎為零。這就像是找一個(gè)專業(yè)的編輯來刪除文章中的特定內(nèi)容，NASA就是那個(gè)從不出錯(cuò)的完美編輯。

更有趣的是，研究團(tuán)隊(duì)還將NASA方法擴(kuò)展到了文本生視頻領(lǐng)域。他們?cè)贑ausVid視頻生成模型上進(jìn)行了測(cè)試，發(fā)現(xiàn)NASA同樣能夠有效控制視頻生成過程中不想要的元素，同時(shí)保持視頻的時(shí)序連貫性和內(nèi)容質(zhì)量。這證明了NASA方法不僅僅局限于靜態(tài)圖像，更有望成為整個(gè)生成式AI領(lǐng)域的通用解決方案。

在定量評(píng)估中，NASA在各個(gè)維度都顯示出了明顯優(yōu)勢(shì)。在NegOpt數(shù)據(jù)集上的測(cè)試顯示，使用NASA的模型不僅能夠有效降低與負(fù)面提示的相似度（CLIP-分?jǐn)?shù)降低），同時(shí)還能保持與正面提示的高度一致性（CLIP+分?jǐn)?shù)基本不變）。這就像是一個(gè)精準(zhǔn)的手術(shù)，既能完美移除病灶，又不會(huì)傷及周圍健康組織。

五、參數(shù)調(diào)節(jié)的藝術(shù)

NASA方法的一個(gè)重要特點(diǎn)是它的可調(diào)節(jié)性。通過調(diào)整一個(gè)名為α的縮放參數(shù)，用戶可以精確控制負(fù)面指導(dǎo)的強(qiáng)度。這就像是音響上的音量旋鈕，可以根據(jù)需要調(diào)節(jié)效果的強(qiáng)弱。

研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)發(fā)現(xiàn)，不同的模型和應(yīng)用場(chǎng)景需要不同的α值設(shè)置。對(duì)于Stable Diffusion v1.5模型，最佳α值約為0.1，而對(duì)于PixArt-α模型，最佳α值則是0.5。這種差異反映了不同模型架構(gòu)的特點(diǎn)和敏感度。

更重要的是，α參數(shù)的調(diào)節(jié)呈現(xiàn)出明顯的規(guī)律性。當(dāng)α值過低時(shí)，負(fù)面指導(dǎo)的效果不夠明顯，不想要的元素仍可能出現(xiàn)。當(dāng)α值過高時(shí)，負(fù)面指導(dǎo)會(huì)過度強(qiáng)烈，可能會(huì)抑制一些本來想要的正面特征。只有在適中的α值范圍內(nèi)，NASA才能達(dá)到最佳的平衡效果。

這種可調(diào)節(jié)性為用戶提供了極大的靈活性。在不同的創(chuàng)作場(chǎng)景下，用戶可以根據(jù)具體需求調(diào)整負(fù)面指導(dǎo)的強(qiáng)度，從而獲得最符合預(yù)期的生成效果。這就像是擁有了一個(gè)可以精細(xì)調(diào)節(jié)的創(chuàng)作工具，讓AI生成更好地服務(wù)于用戶的個(gè)性化需求。

六、技術(shù)細(xì)節(jié)與實(shí)現(xiàn)智慧

NASA方法的技術(shù)實(shí)現(xiàn)展現(xiàn)了研究團(tuán)隊(duì)在效率優(yōu)化方面的深刻洞察。與傳統(tǒng)CFG方法需要完全獨(dú)立地計(jì)算正面和負(fù)面分支不同，NASA采用了共享投影矩陣的策略。這意味著正面和負(fù)面文本特征使用相同的轉(zhuǎn)換參數(shù)，大大減少了額外的計(jì)算開銷。

這種設(shè)計(jì)就像是在工廠生產(chǎn)線上使用同一套設(shè)備來處理不同類型的原料，既保證了處理質(zhì)量的一致性，又最大化了設(shè)備利用效率。通過這種巧妙的參數(shù)共享機(jī)制，NASA實(shí)現(xiàn)了性能提升和效率優(yōu)化的雙重目標(biāo)。

在具體的數(shù)學(xué)實(shí)現(xiàn)上，NASA方法通過計(jì)算正面注意力輸出和負(fù)面注意力輸出之間的差值來實(shí)現(xiàn)特征引導(dǎo)。這個(gè)過程可以理解為在AI的"思維空間"中進(jìn)行向量運(yùn)算，通過數(shù)學(xué)運(yùn)算來實(shí)現(xiàn)語義層面的特征控制。整個(gè)過程完全在AI的內(nèi)部表征空間中完成，不會(huì)對(duì)最終的圖像生成流水線造成任何干擾。

研究團(tuán)隊(duì)還考慮到了不同模型架構(gòu)的兼容性問題。他們發(fā)現(xiàn)NASA不僅適用于傳統(tǒng)的交叉注意力架構(gòu)，還能成功應(yīng)用于FLUX模型采用的聯(lián)合自注意力塊。這種廣泛的架構(gòu)兼容性證明了NASA方法的設(shè)計(jì)原理具有很強(qiáng)的通用性和魯棒性。

七、實(shí)驗(yàn)結(jié)果的說服力

研究團(tuán)隊(duì)進(jìn)行了全面而嚴(yán)格的實(shí)驗(yàn)驗(yàn)證，涵蓋了多個(gè)主流的一步生圖模型和不同的評(píng)估維度。在定性評(píng)估中，NASA生成的圖像在視覺質(zhì)量和指令遵循度方面都顯示出明顯優(yōu)勢(shì)。比如在生成"一只穿著高級(jí)裝飾輕甲的兔子"但要求"不要特寫、不要面部聚焦"時(shí)，NASA能夠完美地生成全身畫面，避免了面部特寫的問題。

在定量評(píng)估方面，NASA在人類偏好評(píng)估上取得了突破性進(jìn)展?；赑ixArt-α的NASA模型達(dá)到了31.21的HPSv2分?jǐn)?shù)，這不僅是一步生圖模型的新記錄，更重要的是這個(gè)分?jǐn)?shù)反映了真實(shí)用戶對(duì)生成圖像的滿意度。這就像是一部電影不僅在技術(shù)指標(biāo)上表現(xiàn)優(yōu)秀，更在觀眾口碑上獲得了廣泛認(rèn)可。

特別值得注意的是，NASA在保持正面特征表達(dá)能力的同時(shí)，顯著提升了負(fù)面特征的控制精度。在NegOpt數(shù)據(jù)集的測(cè)試中，NASA模型的CLIP-分?jǐn)?shù)（與負(fù)面提示的相似度）明顯降低，而CLIP+分?jǐn)?shù)（與正面提示的相似度）保持穩(wěn)定，這證明了NASA在特征控制方面的精確性和選擇性。

研究團(tuán)隊(duì)還進(jìn)行了大量的消融實(shí)驗(yàn)來驗(yàn)證NASA各個(gè)組件的貢獻(xiàn)。結(jié)果顯示，將負(fù)面提示集成到訓(xùn)練過程中比僅在推理時(shí)使用更有效，這支持了他們提出的訓(xùn)練時(shí)集成策略。同時(shí)，他們發(fā)現(xiàn)在老師模型中使用負(fù)面提示而在LoRA老師中不使用能夠獲得最佳效果，這個(gè)發(fā)現(xiàn)為未來的模型訓(xùn)練提供了重要指導(dǎo)。

說到底，這項(xiàng)研究解決的是AI創(chuàng)作領(lǐng)域一個(gè)看似微小卻影響深遠(yuǎn)的問題。NASA方法的成功不僅讓一步生圖技術(shù)更加實(shí)用，更重要的是它展示了通過巧妙的技術(shù)創(chuàng)新，我們可以讓AI更好地理解和執(zhí)行人類的復(fù)雜意圖。

隨著AI生成技術(shù)的快速發(fā)展，NASA這樣的方法將變得越來越重要。它不僅能讓AI畫師更準(zhǔn)確地理解我們的需求，更能讓AI創(chuàng)作工具變得更加易用和可控。對(duì)于普通用戶而言，這意味著他們可以用更自然的語言與AI進(jìn)行交流，獲得更符合期望的創(chuàng)作結(jié)果。

這項(xiàng)研究的影響可能會(huì)延伸到整個(gè)生成式AI領(lǐng)域。NASA的核心理念——在AI的內(nèi)部思考過程中進(jìn)行精確控制——為未來的AI系統(tǒng)設(shè)計(jì)提供了新的思路。無論是文本生成、音頻合成還是視頻創(chuàng)作，類似的方法都有望發(fā)揮重要作用。

對(duì)于那些希望深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以通過arXiv:2412.02687v3查詢完整論文。這項(xiàng)由高通AI研究院領(lǐng)導(dǎo)的研究不僅在技術(shù)上實(shí)現(xiàn)了重要突破，更為AI創(chuàng)作工具的普及和應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。

Q&A

Q1：NASA方法和傳統(tǒng)的負(fù)面提示技術(shù)有什么區(qū)別？

A：傳統(tǒng)方法就像在暗房里沖洗照片，需要多個(gè)步驟反復(fù)調(diào)整，會(huì)生成兩張圖片然后對(duì)比找平衡。而NASA方法像給AI裝了"過濾眼鏡"，在AI思考的瞬間就能識(shí)別并避開不想要的元素，不需要額外生成過程，計(jì)算量只增加1.89%。

Q2：為什么一步生圖模型無法使用傳統(tǒng)的負(fù)面提示方法？

A：一步生圖就像用拍立得相機(jī)拍照，必須在按下快門的瞬間確定最終效果，沒有后期調(diào)整機(jī)會(huì)。傳統(tǒng)CFG方法需要多步驟反復(fù)調(diào)整，直接應(yīng)用到一步生圖上會(huì)導(dǎo)致圖像混合問題，讓最終圖片變得模糊不清，就像兩張照片重疊在一起。

Q3：NASA方法在哪些AI模型上得到了驗(yàn)證？

A：NASA方法在多種主流一步生圖模型上都得到驗(yàn)證，包括FLUX.1-schnell、SDXL-LCM、SDXL-DMD2等，成功率接近100%。研究團(tuán)隊(duì)還將其擴(kuò)展到CausVid文本生視頻模型上，證明了這種方法不僅適用于靜態(tài)圖像，也能有效控制視頻生成。