對(duì)于軟件開發(fā)者而言，AI 及通用大語(yǔ)言模型（LLM）固然可在創(chuàng)意寫作和基礎(chǔ)編程任務(wù)上“搭把手”。然而，面對(duì)圖形用戶界面（UI）這一占據(jù)現(xiàn)代應(yīng)用程序半壁江山的領(lǐng)域時(shí)，它們往往顯得力不從心。

UI 開發(fā)是一項(xiàng)涉及多任務(wù)處理的繁雜工作，一個(gè)能夠從頭設(shè)計(jì) UI 的大模型，必須具備像素級(jí)的視覺(jué)理解能力、能夠生成邏輯嚴(yán)謹(jǐn)?shù)目删幾g代碼，還要擁有符合人類審美與交互直覺(jué)的設(shè)計(jì)判斷力。

蘋果（Apple）公司的研究團(tuán)隊(duì)認(rèn)為，做好 UI 設(shè)計(jì)的關(guān)鍵在于設(shè)計(jì)師的“隱性領(lǐng)域知識(shí)”（tacit domain knowledge）。這種關(guān)于美學(xué)、交互和權(quán)衡的直覺(jué)，無(wú)法通過(guò)簡(jiǎn)單的爬取網(wǎng)頁(yè)數(shù)據(jù)獲得，畢竟，UI 代碼在通用代碼數(shù)據(jù)集中的占比甚至不足 1%。

為填補(bǔ)這一鴻溝，近期，蘋果公司的機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)聯(lián)合卡內(nèi)基梅隆大學(xué)、阿爾托大學(xué)等多家頂尖科研機(jī)構(gòu)，通過(guò)一系列層層遞進(jìn)的研究，讓 AI 學(xué)會(huì)了“看懂”復(fù)雜的移動(dòng)端屏幕，并結(jié)合獨(dú)特的自動(dòng)化反饋機(jī)制讓模型“自學(xué)”編寫 UI 代碼，甚至將其引入專業(yè)設(shè)計(jì)師的工作流，由人類專家教導(dǎo) AI，提高其審美與交互設(shè)計(jì)的能力。

（來(lái)源：Apple）

首先，要讓 AI 生成 UI，必須讓它能夠像人類一樣精準(zhǔn)地理解屏幕上的每一個(gè)像素。然而，通用的多模態(tài)模型在處理移動(dòng) UI 時(shí)存在天然的劣勢(shì)：移動(dòng)設(shè)備屏幕通常具有細(xì)長(zhǎng)的縱橫比，充滿了極其微小卻功能關(guān)鍵的圖標(biāo)和文本，這些細(xì)節(jié)在傳統(tǒng)模型的圖像壓縮處理中往往會(huì)丟失。

為了解決這一感知瓶頸，研究團(tuán)隊(duì)率先于 2024 年 4 月推出了 Ferret-UI 模型。該模型引入了一種創(chuàng)新的“下任意分辨率”技術(shù)，它不再粗暴地縮放圖像，而是根據(jù)屏幕的原始縱橫比（如手機(jī)的豎屏或平板的橫屏），將畫面靈活切割為多個(gè)子圖像，在對(duì)此進(jìn)行獨(dú)立編碼。這種處理方式如同給了 AI 一把清晰的“放大鏡”，使其能夠捕捉到微小的 UI 元素。

（來(lái)源：Apple）

通過(guò)在涵蓋圖標(biāo)識(shí)別、文本查找、組件列表等基礎(chǔ)任務(wù)，包含功能推斷、交互對(duì)話等高級(jí)任務(wù)的精選數(shù)據(jù)集上進(jìn)行訓(xùn)練，F(xiàn)erret-UI 展現(xiàn)出了卓越的指代（Referring）與定位（Grounding）能力，其能描述屏幕內(nèi)容，處理點(diǎn)、框、線條等空間指令都不在話下，還能對(duì)具體內(nèi)容進(jìn)行精確的坐標(biāo)區(qū)域定位，在理解移動(dòng) UI 的基礎(chǔ)任務(wù)方面甚至超越了當(dāng)時(shí)占據(jù)領(lǐng)先地位的 GPT-4V 模型。

此外，針對(duì) UI 領(lǐng)域稀缺高質(zhì)量訓(xùn)練數(shù)據(jù)的痛點(diǎn)，團(tuán)隊(duì)也早在 2023 年發(fā)布的另一項(xiàng)名為 ILuvUI 的研究中，提出一種無(wú)需人工介入的數(shù)據(jù)生成方案，證明了合成數(shù)據(jù)在提升模型視覺(jué)理解力方面的巨大潛力。

研究者利用現(xiàn)有的 UI 檢測(cè)技術(shù)提取屏幕元數(shù)據(jù)，再結(jié)合 GPT-3.5，生成逼真的問(wèn)答與描述，形成一套包含 33.5 萬(wàn)個(gè)樣本的豐富數(shù)據(jù)集。利用這一高質(zhì)量數(shù)據(jù)集，研究人員初步訓(xùn)練出了一個(gè)既能理解界面，也能進(jìn)行多步交互規(guī)劃的大模型。

在解決“看懂”的問(wèn)題后，下一個(gè)挑戰(zhàn)是如何讓模型寫出高質(zhì)量的 UI 代碼。在 UI 開發(fā)中，代碼不僅要語(yǔ)法正確，還必須能被編譯器接受，同時(shí)渲染出符合預(yù)期的視覺(jué)效果。然而，現(xiàn)有的開源代碼數(shù)據(jù)集（如 TheStack）中，SwiftUI 等特定 UI 框架的代碼占比極低，這就讓通用模型難以掌握其編程范式。

2024 年 6 月，蘋果的研究團(tuán)隊(duì)再次優(yōu)化了他們的 UI 模型，提出一種巧妙的“自動(dòng)化反饋閉環(huán)”訓(xùn)練方法。他們首先使用一個(gè)幾乎沒(méi)有接觸過(guò) SwiftUI 數(shù)據(jù)的開源基礎(chǔ)模型（StarChat-Beta），要求其根據(jù)文本描述強(qiáng)行生成大量代碼。

隨后，系統(tǒng)引入了兩個(gè)冷酷的“判官”：一個(gè)是 Swift 編譯器，負(fù)責(zé)剔除無(wú)法運(yùn)行的垃圾代碼；另一個(gè)是視覺(jué)-語(yǔ)言模型（CLIP），負(fù)責(zé)對(duì)比生成的界面截圖與原始描述的匹配度。只有同時(shí)通過(guò)編譯檢查且視覺(jué)評(píng)分高的代碼，才會(huì)被用于微調(diào)模型。

經(jīng)過(guò)五輪“代碼生成-編譯器驗(yàn)證-視覺(jué)匹配度評(píng)分（CLIP）-篩選去重”的迭代，這個(gè)名為 UICoder、參數(shù)僅有 15.5B 的模型最終“無(wú)中生有”地掌握了 SwiftUI 編程，不僅在代碼的可編譯性上大幅超越基準(zhǔn)模型，還在編譯成功率上擊敗了 GPT-4。

這項(xiàng)技術(shù)成功解決了“理解需求”和“寫出能跑的代碼”之間的 UI 工程鴻溝，確立了利用自動(dòng)化工具反饋來(lái)提升代碼生成質(zhì)量的技術(shù)范式。

（來(lái)源：Apple）

蘋果團(tuán)隊(duì)并不想止步于此。眾所周知，在蘋果哲學(xué)中，“設(shè)計(jì)”從來(lái)不僅僅意味著外觀，它是功能的靈魂，更是其軟硬件生態(tài)難以被逾越的護(hù)城河。通用 AI 最多能寫出邏輯正確的代碼，卻缺乏對(duì)人類交互直覺(jué)的深刻理解，簡(jiǎn)而言之，AI“沒(méi)品味”，也不知道什么是真正的“好設(shè)計(jì)”。

為了讓 AI 也能做出蘋果級(jí)別的優(yōu)質(zhì)設(shè)計(jì)，研究人員將目光投向了人類設(shè)計(jì)師的專業(yè)知識(shí)。傳統(tǒng)的強(qiáng)化學(xué)習(xí)（RLHF）通常要求人類在兩個(gè)選項(xiàng)中進(jìn)行簡(jiǎn)單排名（Ranking），但在主觀性極強(qiáng)的設(shè)計(jì)領(lǐng)域，這種二元選擇會(huì)導(dǎo)致數(shù)據(jù)噪聲極大，難以傳達(dá)具體的設(shè)計(jì)意圖。

時(shí)間來(lái)到 2025 年 9 月，研究團(tuán)隊(duì)在一項(xiàng)最新研究中展示了他們的最終成果，他們推出了一款貼合 UI 設(shè)計(jì)師日常工作流的反饋工具，允許設(shè)計(jì)師“評(píng)論”（Commenting）、“繪圖標(biāo)注”（Sketching）甚至直接“修改”（Revising）AI 生成的界面，對(duì)其提供反饋。設(shè)計(jì)師的修改痕跡也將轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)，用于對(duì)模型進(jìn)行獎(jiǎng)勵(lì)型微調(diào)。

（來(lái)源：Apple）

實(shí)驗(yàn)數(shù)據(jù)表明，相比于簡(jiǎn)單的比較排名，人類設(shè)計(jì)師直接上手修改的調(diào)整數(shù)據(jù)具有極高的一致性，大模型由此得以精準(zhǔn)捕捉到設(shè)計(jì)師在布局、層級(jí)和美學(xué)方面的隱性知識(shí)。

令人驚訝的是，僅需使用 181 個(gè)高質(zhì)量的繪圖反饋樣本，對(duì)開源模型 Qwen2.5-Coder 進(jìn)行微調(diào)，其與其變體系列生成的 UI 質(zhì)量就能在盲測(cè)中擊敗包括 GPT-5 在內(nèi)的頂尖專有模型。研究還強(qiáng)調(diào)，在 UI 生成的高階階段，領(lǐng)會(huì)相應(yīng)領(lǐng)域?qū)＜业木唧w修改意圖遠(yuǎn)比海量的模糊評(píng)分更為關(guān)鍵。

最終，這項(xiàng)歷時(shí)近三年的系列研究工作共同構(gòu)成了一個(gè)完整的技術(shù)進(jìn)化鏈條：Ferret-UI 賦予了 AI 精準(zhǔn)的視覺(jué)感知能力，UICoder 通過(guò)自動(dòng)化反饋解決了代碼實(shí)現(xiàn)的工程難題，而基于設(shè)計(jì)師反饋的研究則注入了人類的審美與設(shè)計(jì)智慧。

長(zhǎng)久以來(lái)，軟件開發(fā)的本質(zhì)是一場(chǎng)耗時(shí)的“翻譯”游戲：設(shè)計(jì)師將意圖翻譯成圖紙，工程師將圖紙翻譯成代碼，機(jī)器將代碼翻譯成界面。未來(lái)，這種轉(zhuǎn)譯之間的損耗有望被消滅：設(shè)計(jì)師落筆的瞬間，就是產(chǎn)品誕生的時(shí)刻。

參考資料：

https://9to5mac.com/2026/02/05/designers-teach-ai-to-generate-better-ui-in-new-apple-study/

https://9to5mac.com/2025/08/14/apple-trained-an-llm-to-teach-itself-good-interface-design-in-swiftui/

https://arxiv.org/pdf/2310.04869

https://arxiv.org/pdf/2404.05719

https://arxiv.org/pdf/2406.07739

https://arxiv.org/pdf/2509.16779

排版：劉雅坤