今天，OpenAI 公開(kāi) Atlas 的核心技術(shù)實(shí)現(xiàn)，這是一個(gè)專門為 Agent 開(kāi)發(fā)的瀏覽器，讓 AI 能夠看到完整的界面渲染，而不是需要像人一樣，挨個(gè)的點(diǎn)擊所有元素，才能獲得所有信息

這也是 OpenAI 首次在工程領(lǐng)域，進(jìn)行的官方發(fā)布

Atlas 看起來(lái)就是個(gè) Chromium 套殼，畢竟...你還能看到 Chrome 應(yīng)用商店，能裝 Chrome 插件

網(wǎng)址輸入 atlas://extensions ，進(jìn)入插件頁(yè)

Edge、Brave、Arc 也都是這樣，看起來(lái)都是 Chromium 套殼

但底層架構(gòu)完全不同
Atlas 把 Chromium 整個(gè)搬出去了

傳統(tǒng)瀏覽器里，Chromium 掛了，整個(gè)瀏覽器掛
Chromium 卡了，瀏覽器界面跟著卡
有用戶反饋，在 Sora 這種復(fù)雜網(wǎng)頁(yè)，別的 AI 瀏覽器會(huì)卡住，Atlas 是正常的

Atlas 主應(yīng)用是獨(dú)立的 Swift 應(yīng)用，Chromium 作為獨(dú)立進(jìn)程在后臺(tái)運(yùn)行，兩者通過(guò) IPC 通信
這套架構(gòu)叫 OWL（OpenAI's Web Layer）

Atlas 的 OWL 結(jié)構(gòu)

按 OpenAI 的說(shuō)法，這種方式

• ? 啟動(dòng)快：Chromium 在后臺(tái)慢慢加載，Atlas 界面瞬間顯示

• ? 不崩潰：Chromium 掛了，Atlas 不受影響

• ? 開(kāi)發(fā)快：大部分工程師不用編譯 Chromium，構(gòu)建從小時(shí)級(jí)降到分鐘級(jí)

• ? Agent 能看清屏幕：強(qiáng)行把所有彈窗合成回主頁(yè)面

在項(xiàng)目開(kāi)發(fā)上，也能做到足夠的解耦，新員工第一天下午就能提交代碼

OWL 怎么做的

Atlas 和 Chromium 之間通過(guò) Mojo 通信，這是 Chromium 自己的 IPC 系統(tǒng)

OpenAI 寫(xiě)了自定義的 Swift 綁定，讓 Swift 應(yīng)用能直接調(diào)用 Chromium 的接口

這里有幾個(gè)核心概念：

Session：全局控制 Chromium

Profile：管理用戶配置

WebView：控制單個(gè)網(wǎng)頁(yè)的渲染、輸入、導(dǎo)航

LayerHost/Client：在 Atlas 和 Chromium 之間交換渲染信息

OWL 工作示意

網(wǎng)頁(yè)內(nèi)容怎么顯示？

Chromium 渲染好的 layer 通過(guò) CALayerHost 傳給 Atlas

Atlas 用 NSView 把這個(gè) layer 嵌進(jìn)界面

輸入事件怎么處理？

event 的處理

Atlas 收到用戶輸入（鼠標(biāo)、鍵盤），翻譯成 Chromium 能理解的 WebInputEvent 格式，發(fā)給 Chromium

如果網(wǎng)頁(yè)沒(méi)處理這個(gè)事件，Chromium 會(huì)把事件退回來(lái)，Atlas 重新合成 NSEvent，給應(yīng)用的其他部分處理

Agent mode 的特殊處理

這里的思路很牛逼

computer use model 需要一張完整的屏幕截圖

問(wèn)題來(lái)了，瀏覽器里有些元素是獨(dú)立渲染的

下拉菜單、顏色選擇器、日期選擇器，這些在 Chromium 里是單獨(dú)的彈窗 AI 只看主頁(yè)面，看不到這些彈出元素 OpenAI 的做法：強(qiáng)行把所有彈窗合成回主頁(yè)面 這些彈窗雖然是獨(dú)立窗口，但有自己的 RenderWidgetHostView 和 AcceleratedWidget OWL 用跟主頁(yè)面一樣的 delegated rendering 模型，把這些彈窗的 layer 抓出來(lái)，按正確的坐標(biāo)位置合成回主頁(yè)面 AI 拿到的就是一張完整的截圖 渲染方法 還有個(gè)細(xì)節(jié) Agent 生成的輸入事件，直接發(fā)給 renderer，不走 browser 層 這樣能保持沙箱邊界，Agent 不能通過(guò)快捷鍵觸發(fā)瀏覽器的特權(quán)操作 相關(guān)的任務(wù)，也進(jìn)行了隔離 Agent browsing 可以跑在 ephemeral context 里，不共享用戶的 Incognito profile 每個(gè) agent session 用獨(dú)立的 StoragePartition，完全隔離 session 結(jié)束，所有 cookies 和站點(diǎn)數(shù)據(jù)全部丟棄 你可以同時(shí)開(kāi)多個(gè) agent session，每個(gè)都在獨(dú)立的 tab 里，互相隔離 工程效率的改變 Chromium 代碼庫(kù)太大 checkout 要很久，編譯要幾個(gè)小時(shí) OWL 把 Chromium 編譯成預(yù)構(gòu)建的 binary，內(nèi)部分發(fā) 大部分做 Atlas 的工程師，只編譯 Swift 代碼，幾分鐘完事 OpenAI 有個(gè)工程文化：新員工第一天下午就能提交代碼 對(duì) Chromium 這種項(xiàng)目，這幾乎做不到 但 OWL 做到了 而且因?yàn)?UI 層完全重寫(xiě)，對(duì)上游 Chromium 的改動(dòng)很少，升級(jí)版本也容易 說(shuō)兩句 傳統(tǒng)瀏覽器是為人設(shè)計(jì)的，Agent 瀏覽器要解決的問(wèn)題不一樣 人需要各種交互，進(jìn)行輔助認(rèn)知，可以點(diǎn)擊菜單然后彈出閱讀 AI 則不同，需要在一張圖里看到所有元素，需要快速響應(yīng) 新的瀏覽器架構(gòu)，很有必要 原文附上https://openai.com/index/building-chatgpt-atlas/