国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網易首頁 > 網易號 > 正文 申請入駐

阿里圖像生成模型登頂HuggingFace,一句話把馬斯克“變老”

0
分享至

就在8月19日,阿里發(fā)布了Qwen-Image,這是一個圖像生成基礎模型。這個模型的特點是,通過系統性的數據工程、漸進式的學習策略、改進的多任務訓練范式以及可擴展的架構優(yōu)化,旨在解決復雜文本渲染和精準圖像編輯的核心難題。

在AI領域,圖像生成技術作為其重要分支,近年來取得了顯著進展。無論是從文本直接生成圖像(T2I),還是對現有圖像進行編輯(TI2I),其核心都在于機器能否精準地理解并以視覺形式再現人類的意圖。盡管擴散模型等架構的出現極大地提升了生成圖像的分辨率與細節(jié)表現力,但該領域仍面臨兩個長期存在的挑戰(zhàn)。

在文本到圖像的生成任務中,模型對于復雜、多維度的文本指令的理解與對齊能力尚有不足。尤其是在處理多行文本渲染、非字母文字(如漢字)渲染、特定位置的文字嵌入,以及將文字與視覺元素無縫融合等精細任務時,現有模型往往難以達到理想效果。

而在圖像編輯任務中,如何確保編輯后的圖像與原始圖像在視覺和語義上保持一致性,是一個雙重難題。這既要求視覺上的一致性,即只修改目標區(qū)域而不影響其他部分的視覺細節(jié);也要求語義上的連貫性,即在進行結構性調整(如改變人物姿態(tài))時,必須保留主體的身份特征與場景的整體邏輯。

01

Qwen團隊專門發(fā)布了一份技術報告,名為《Qwen-Image Technical Report》,以此詳細介紹Qwen-Image的功能。

為實現精準的文本渲染,Qwen-Image構建了一個全面的數據處理體系。該體系始于大規(guī)模收集數十億級別的圖文數據,并強調質量優(yōu)于數量。數據經過一個分為七個階段的精細化過濾管道,從低分辨率的基礎篩選到高分辨率的美學提純,系統性地提升了數據質量與圖文對齊度。

同時,考慮到真實圖像中漢字等內容的長尾分布特性,模型還通過“純粹渲染”、“組合渲染”和“復雜渲染”三種策略大量合成高質量的文本圖像數據,彌補了自然數據的不足。在此基礎上,模型采用由簡到繁的“課程學習”策略進行訓練,顯著增強了其渲染復雜中英文文本的能力。

為實現精準的圖像編輯,Qwen-Image提出了一種增強的多任務學習框架。其核心是將輸入圖像編碼為兩種互補的特征:一是通過Qwen2.5-VL模型提取的高層“語義特征”,用于理解圖像內容和編輯指令;二是通過變分自編碼器(VAE)提取的低層“重建特征”,用于保留圖像的視覺細節(jié)和紋理。

這兩種特征共同作為引導信號,輸入到作為模型骨干的多模態(tài)擴散Transformer(MMDiT)中。這種“雙重編碼”設計,使得模型在執(zhí)行編輯指令時,既能理解“改什么”,又能知道“保留什么”,從而在語義連貫性與視覺保真度之間取得了良好的平衡。

模型架構上,Qwen-Image由Qwen2.5-VL(條件編碼器)、VAE(圖像壓縮與解碼)和MMDiT(核心生成網絡)三部分組成。其中,VAE采用了獨特的“單編碼器、雙解碼器”架構,使其在保證高質量圖像重建的同時,也為未來擴展到視頻生成任務奠定了基礎。MMDiT內部則引入了一種名為MSROPE的新型位置編碼方法,通過將文本信息在概念上置于圖像網格的對角線,改善了文本與圖像特征的對-齊。

訓練過程同樣是漸進式的,從低分辨率到高分辨率,從無文本圖像到有文本圖像,并結合了監(jiān)督微調(SFT)與直接偏好優(yōu)化(DPO)等強化學習方法,持續(xù)優(yōu)化生成結果的質量與遵循指令的準確性。最終,大量的基準測試和人類評估結果表明,Qwen-Image在通用的圖像生成、復雜的文本渲染以及指令式圖像編輯任務上,均達到了業(yè)界領先水平。

不多說廢話,讓我們直接看成品。我故意刁難Qwen-Image,既然官方技術團隊報告中表示優(yōu)化了對提示詞的理解,那么我就要它生成自然界不存在的東西。從結果上來看,Qwen的冰山渲染效果比GPT-5更好,但是火焰跟冰山較為割裂,而GPT-5則用熔巖填充了火焰和冰山之間的部分,讓畫面更自然。

提示詞:A colossal iceberg that is on fire, with bright orange flames licking its crystalline blue surfaces, emitting thick steam and smoke into a freezing arctic sky. The water around the iceberg is boiling. Photorealistic, dramatic lighting.

Qwen-Image:

GPT-5:

在圖片重構方面,GPT-5除了貓整體都發(fā)生了改變,包括背景??赡苁且驗橄M笏≡诳罩校珿PT-5真的把這只貓送上了大氣層,但是Qwen-Image則是漂浮在了半空中。

提示詞:make the cat floating in the air and holding a sign that reads 'this is fun' written with a blue crayon

原圖片:

Qwen-Imgae:

GPT-5:

有意思的來了,由于原圖片中出現了星條旗,GPT-5和Gemini都不能完成對原圖片的修改。但是Qwen-Image完成了這個命令,雖然在生成的圖片中,馬斯克變得更加蒼老了。

提示詞:Keep Elon Musk and his hat exactly as they are in terms of pose and size, but place them on the surface of Mars during a massive dust storm. The sky should be a swirling orange and red, with visible streaks of dust. Add a futuristic, slightly damaged SpaceX rover partially buried in the Martian sand in the background.

原圖:

Qwen-Image:

02

技術報告展示了Qwen-Image強大的圖像生成與編輯能力,這自然引出一個問題:它能成為一個“AI版的Photoshop”嗎?或者說,它在多大程度上改變了我們與圖像交互的方式?要回答這個問題,我們需要比較它與傳統圖像編輯軟件的核心異同。

從功能上看,Qwen-Image確實展現出了許多與Photoshop相似的核心編輯能力,但實現方式截然不同。Photoshop依賴于工具箱、圖層和濾鏡,用戶通過直接操作(如畫筆涂抹、選區(qū)拖動)來實現修改。而Qwen-Image則依賴于自然語言指令,用戶通過“描述”來完成編輯。

在對象處理方面,Photoshop使用套索、魔棒等工具進行精確選區(qū),然后進行復制、粘貼或內容識別填充。Qwen-Image則通過文本指令實現類似操作,例如“添加一只貓和一只狗”或“移除畫面里所有的人”。它不僅能完成增刪,還能理解風格要求(如添加卡通風格的動物),這類似于PS中需要手動調整新元素風格以匹配背景的操作,但Qwen-Image將其自動化了。

在材質與風格轉換上,Photoshop提供濾鏡庫、圖層樣式和紋理疊加等功能。Qwen-Image同樣能通過指令完成,例如將一個普通圖標變?yōu)椤艾m瑯彩玻璃藝術”風格的冰箱貼。這種基于語義的材質渲染,是其強大之處。此外,其精準的文本編輯能力,如修改、增刪圖像中的文字并保持原有風格,直接對標了Photoshop的核心功能——文字工具。

更進一步,在處理圖像結構性變化時,比如人物姿態(tài)調整,Qwen-Image展現了超越傳統工具的潛力。在Photoshop中,調整姿態(tài)可能需要使用液化、操控變形等工具進行細致的手動修改,且很難保證衣物紋理和背景的自然過渡。

而Qwen-Image能夠理解“讓她站起來,單手叉腰”這樣的指令,并在保持人物身份、服裝細節(jié)(甚至能推斷出被遮擋的衣物部分)和背景一致性的前提下,生成一個全新的、符合邏輯的姿態(tài)。這種能力更接近于“重新想象”而非“修改”。

然而,盡管功能上有諸多重疊,將Qwen-Image簡單地視為Photoshop的替代品并不準確。二者的核心工作范式存在根本差異。

最重要的地方在于控制的粒度。Photoshop提供的是像素級的、確定性的精確控制。用戶可以選中任意一個像素點,賦予它一個精確的RGB值。而Qwen-Image的控制是語義級的、概率性的。用戶描述的是“什么”,而不是“如何做”。你無法通過指令去精確控制某個特定像素的顏色,編輯結果總是在一定程度上由模型“自由發(fā)揮”,帶有一定的隨機性。

Photoshop的核心是基于圖層的非線性、非破壞性工作流。用戶可以隨時返回修改任意一個圖層,而不影響其他部分。Qwen-Image的編輯更像是一個“一次性”的再生成過程。盡管技術報告中展示了“鏈式編輯”(即在上一次生成結果的基礎上繼續(xù)編輯),但這與PS中靈活調整圖層堆棧的邏輯完全不同。

精通Photoshop需要掌握復雜的工具、蒙版和色彩理論。而使用Qwen-Image則需要掌握“提示詞工程”——用清晰、準確的語言描述視覺意圖的能力。它極大地降低了圖像編輯的技術門檻,但同時也引入了一種新的技能壁壘。

Qwen-Image并非Photoshop的直接替代品,而是一種全新的圖像內容創(chuàng)作與編輯范式。Photoshop是一個“數字暗房”和“畫布”,為專業(yè)人士提供了無與倫比的直接操控和精確控制能力。而Qwen-Image則是一個“語義指令引擎”,它將人的意圖從繁瑣的技術操作中解放出來,更側重于創(chuàng)意構想的快速實現和語義層面的內容調整。

它們滿足了不同場景的需求。一個需要進行精細排版和品牌視覺設計的專業(yè)設計師,依然離不開Photoshop的精確控制。但對于一個需要快速產出創(chuàng)意概念圖、營銷素材,或者不具備專業(yè)設計技能的用戶來說,Qwen-Image無疑是更高效、更直觀的工具。

雖然現在已經出現了一些帶有AI功能的修圖軟件,但是能實現的功能還比較淺,比如消除圖片中的人物、調整顏色等。未來,二者很可能會深度融合——在Photoshop這樣的專業(yè)軟件中,嵌入像Qwen-Image一樣強大的語義理解和生成引擎,這在PS的“生成式填充”功能中已初見端倪。Qwen-Image的出現,標志著這條融合之路上的“語義引擎”一端,已經達到了一個新的成熟高度。

歡迎在評論區(qū)留言~
如需開白請加小編微信:dongfangmark

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
東風導彈泄密案!間諜郭萬鈞一家三口,全部被處以死刑

東風導彈泄密案!間諜郭萬鈞一家三口,全部被處以死刑

番外行
2026-03-31 08:28:28
一斤等于10斤牛肉,建議一周3次,健脾利濕、增強記憶力!

一斤等于10斤牛肉,建議一周3次,健脾利濕、增強記憶力!

寶哥精彩賽事
2026-04-02 18:37:40
普京顏面盡失,在克宮被昔日盟友公開羞辱,宣告不再討好俄羅斯

普京顏面盡失,在克宮被昔日盟友公開羞辱,宣告不再討好俄羅斯

阿萔影視評論
2026-04-04 06:51:01
愛德華茲賽季報銷,森林狼反手選對手:打湖人總比碰掘金強

愛德華茲賽季報銷,森林狼反手選對手:打湖人總比碰掘金強

寶哥精彩賽事
2026-04-03 18:54:30
外媒曝伍茲私人飛機降落在蘇黎世 48歲女友瓦妮莎主導境外秘密治療

外媒曝伍茲私人飛機降落在蘇黎世 48歲女友瓦妮莎主導境外秘密治療

勁爆體壇
2026-04-04 06:50:04
女生主動起來有多黏人?網友:這些女的太開放了

女生主動起來有多黏人?網友:這些女的太開放了

帶你感受人間冷暖
2026-01-27 00:20:06
中國拒接8500億美債,專家:救美救華時代已終結

中國拒接8500億美債,專家:救美救華時代已終結

孤酒老巷QA
2026-04-03 19:53:38
科學不夠,賭命來湊:美國今年,命犯馬桶?

科學不夠,賭命來湊:美國今年,命犯馬桶?

美第奇效應
2026-04-03 07:07:27
3月合資銷量啞火 除了“兩田”,沒人吱聲

3月合資銷量啞火 除了“兩田”,沒人吱聲

車市紅點
2026-04-02 15:49:23
石破茂公開評價特朗普:他好面子,喜歡被奉承,要是說他錯了,立刻就發(fā)飆

石破茂公開評價特朗普:他好面子,喜歡被奉承,要是說他錯了,立刻就發(fā)飆

大象新聞
2026-04-03 20:49:04
逼中國跳陷阱?伊朗索要“安全擔保”,中國一眼看穿,根本不上當

逼中國跳陷阱?伊朗索要“安全擔?!保袊谎劭创?,根本不上當

二大爺觀世界
2026-04-04 07:54:10
真敢說!39歲張雪:創(chuàng)業(yè)13年重慶從沒有支持過我 一個子兒都沒有

真敢說!39歲張雪:創(chuàng)業(yè)13年重慶從沒有支持過我 一個子兒都沒有

念洲
2026-04-01 09:39:30
韓國導演遭6人活活打死!目擊者:店內遭勒脖暈厥,幼子見證全程

韓國導演遭6人活活打死!目擊者:店內遭勒脖暈厥,幼子見證全程

法老不說教
2026-04-03 19:35:03
51歲何潤東直播《三角洲》火了!全程手柄操作引熱議

51歲何潤東直播《三角洲》火了!全程手柄操作引熱議

游民星空
2026-04-03 17:18:55
上海夫妻給干妹妹轉賬4900萬,結果慘變“接盤俠”……

上海夫妻給干妹妹轉賬4900萬,結果慘變“接盤俠”……

環(huán)球網資訊
2026-04-02 21:22:30
浙大名嘴揭開殘酷真相:當年恒大倒臺,壓根不是因為2萬億負債!

浙大名嘴揭開殘酷真相:當年恒大倒臺,壓根不是因為2萬億負債!

阿器談史
2026-04-02 13:31:44
目標以色列特拉維夫,伊朗、黎巴嫩真主黨、胡塞武裝聯合發(fā)動襲擊!以軍:打擊伊朗革命衛(wèi)隊資金管理總部;美國最先進的電子戰(zhàn)飛機飛抵希臘

目標以色列特拉維夫,伊朗、黎巴嫩真主黨、胡塞武裝聯合發(fā)動襲擊!以軍:打擊伊朗革命衛(wèi)隊資金管理總部;美國最先進的電子戰(zhàn)飛機飛抵希臘

每日經濟新聞
2026-04-03 07:34:06
庫存積壓嚴重!特斯拉最新銷量公布

庫存積壓嚴重!特斯拉最新銷量公布

新浪財經
2026-04-04 00:57:30
不甜不咸不油,卻偷偷傷害全身!很多人每天都在超量吃

不甜不咸不油,卻偷偷傷害全身!很多人每天都在超量吃

蝌蚪五線譜
2026-04-03 17:03:28
男人的生理需求能有多難忍?網友:我對我老公只有動物本能

男人的生理需求能有多難忍?網友:我對我老公只有動物本能

帶你感受人間冷暖
2026-02-07 03:58:56
2026-04-04 08:35:00
直面派 incentive-icons
直面派
講述值得講述的真實故事
257文章數 236關注度
往期回顧 全部

科技要聞

5萬輛庫存車,給了特斯拉一記重拳

頭條要聞

美國宣布:F-15E被擊落 1名飛行員被救還有1人下落不明

頭條要聞

美國宣布:F-15E被擊落 1名飛行員被救還有1人下落不明

體育要聞

被NBA選中20年后,他重新回到籃球場

娛樂要聞

夏克立官宣再婚當爸?否認婚內出軌

財經要聞

劉紀鵬:只盼長慢牛,鞏固4000點是關鍵

汽車要聞

你介意和遠房親戚長得很像嗎?

態(tài)度原創(chuàng)

手機
游戲
健康
公開課
軍事航空

手機要聞

OPPO Find X9 Ultra:真機偷跑!Find X9s Pro:要做小屏影像機皇

三十年鐵律崩塌!主機漲價瘋魔 IGN警告行業(yè)"將死"

干細胞抗衰4大誤區(qū),90%的人都中招

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

俄國防部:一架蘇-30戰(zhàn)機在克里米亞墜毀

無障礙瀏覽 進入關懷版