作者 | Patrick Farry

譯者 | 劉雅夢

在最近的博客文章中，優(yōu)步（Uber 的限流系統(tǒng)）和 OpenAI（超越限流：擴(kuò)展對 Codex 和 Sora 的訪問）都討論了他們對限流方法的轉(zhuǎn)變：從基于計(jì)數(shù)器的、每個(gè)服務(wù)的限流轉(zhuǎn)向適應(yīng)性、基于策略的系統(tǒng)。兩家公司都開發(fā)了專有的限流平臺，并在基礎(chǔ)設(shè)施層實(shí)施。這些系統(tǒng)具有軟控制功能，通過向客戶端施加壓力而不是使用硬停止來管理流量——無論是通過概率性丟棄還是基于信用的瀑布流——確保系統(tǒng)彈性而不犧牲用戶動力。

以前，優(yōu)步工程師為每個(gè)服務(wù)實(shí)施限流，通常使用由 Redis 支持的 令牌桶。這導(dǎo)致了操作效率低下，例如額外的延遲，以及部署時(shí)需要調(diào)整閾值。不一致的配置增加了維護(hù)風(fēng)險(xiǎn)，并導(dǎo)致保護(hù)不均衡，一些較小的服務(wù)沒有任何限制。此外，可觀測性是分散的，使得很難準(zhǔn)確指出由限流引起的問題。

優(yōu)步用新的全球限流器（GRL）替換了這些遺留限流器。GRL 架構(gòu)由一個(gè)三層反饋循環(huán)組成：優(yōu)步服務(wù)網(wǎng)格數(shù)據(jù)平面中的限流客戶端在本地執(zhí)行決策，區(qū)域聚合器收集指標(biāo)，區(qū)域控制器計(jì)算全局限制并將其推送回客戶端。

GRL 還用一個(gè)降低可配置流量百分比（例如 10%）的系統(tǒng)取代了硬停止桶。這個(gè)策略作為一個(gè)軟限制，對調(diào)用者服務(wù)施加壓力，允許它們繼續(xù)運(yùn)行，而不會因配額耗盡而關(guān)閉。

OpenAI 以類似的架構(gòu)實(shí)施了其新的限流器；然而，主要驅(qū)動力是 Codex 和 Sora 應(yīng)用程序的用戶體驗(yàn)，而不是運(yùn)維彈性。隨著越來越多的采用，OpenAI 看到了一個(gè)一致的模式：用戶發(fā)現(xiàn)這些工具具有很大的價(jià)值，但被限流中斷。雖然這些界限確保了公平的訪問和系統(tǒng)的穩(wěn)定性，但它們經(jīng)常讓參與的用戶感到沮喪。OpenAI 尋求一種方法，通過即時(shí)基于使用量的計(jì)費(fèi)，在不阻礙探索的情況下保持動力。

工程團(tuán)隊(duì)設(shè)計(jì)了一種綜合方法，允許用戶在一定限額內(nèi)訪問系統(tǒng)，超過限額后系統(tǒng)將從信用余額中扣除。團(tuán)隊(duì)將這個(gè)決策過程描述為“瀑布式”：

這個(gè)模型反映了用戶對產(chǎn)品的實(shí)際體驗(yàn)。限流、免費(fèi)層、信用、促銷和企業(yè)權(quán)益都只是同一個(gè)決策堆棧中的層。從用戶的角度來看，他們不會“切換系統(tǒng)”——他們只是繼續(xù)使用 Codex 和 Sora。這就是為什么信用感覺不可見：它們只是瀑布中的另一個(gè)元素。

為確保這種過渡是無縫的，OpenAI 構(gòu)建了一個(gè)專用的實(shí)時(shí)訪問引擎，將使用跟蹤、限流窗口和信用余額整合到單一評估路徑中。與傳統(tǒng)的異步計(jì)費(fèi)系統(tǒng)不同，這些系統(tǒng)因延遲而受到影響，這個(gè)引擎同步地做出可證明正確的決策：每個(gè)請求在立即檢查信用余額之前，都會識別出限流層的可用容量。

為保持低延遲，系統(tǒng)通過一個(gè)流處理器異步結(jié)算信用借記，使用穩(wěn)定的 冪等鍵 防止雙重收費(fèi)。這種架構(gòu)依賴于三個(gè)緊密耦合的數(shù)據(jù)流——產(chǎn)品使用事件、貨幣化事件和余額更新——確保每筆交易都是可審計(jì)和可對賬的，而不會中斷用戶的創(chuàng)作流程。

優(yōu)步和 OpenAI 都報(bào)告說，這些架構(gòu)轉(zhuǎn)變成功地實(shí)現(xiàn)了他們各自的操作和產(chǎn)品目標(biāo)。在優(yōu)步，全球限流器的實(shí)施已經(jīng)擴(kuò)展到每秒處理超過 8000 萬個(gè)請求，覆蓋 1100 個(gè)服務(wù)，顯著降低了尾部延遲，消除了外部 Redis 依賴。該系統(tǒng)在生產(chǎn)中證明了其有效性，吸收了 15 倍的流量激增而沒有退化，并在 DDoS 攻擊到達(dá)內(nèi)部系統(tǒng)之前減輕了它們。

同樣，OpenAI 已經(jīng)將信用系統(tǒng)集成到 Codex 和 Sora 的訪問路徑中，用連續(xù)的瀑布模型替換了硬停止。平臺提供實(shí)時(shí)、準(zhǔn)確的計(jì)費(fèi)，同時(shí)保持交互式 AI 應(yīng)用程序所需的低延遲性能。對于這兩家公司來說，轉(zhuǎn)向內(nèi)部、基礎(chǔ)設(shè)施級別的平臺已經(jīng)用自動化、適應(yīng)性控制取代了手動配置，允許他們各自的集群在最小的人為干預(yù)下處理大規(guī)模問題。

https://www.infoq.com/news/2026/02/uber-openai-rate-limiting/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。