作者 | Olimpiu Pop

譯者 | 劉雅夢(mèng)

策劃 | 丁曉昀

Spotify 在其 Confidence 實(shí)驗(yàn)平臺(tái)之上引入了學(xué)習(xí)實(shí)驗(yàn)（EwL）指標(biāo)，以衡量有多少測(cè)試提供了決策就緒的洞察，而不僅僅是“獲勝”的次數(shù)。EwL 捕獲了跨產(chǎn)品團(tuán)隊(duì)學(xué)習(xí)的數(shù)量和質(zhì)量，幫助他們?cè)谝?guī)模上做出更快、更明智的產(chǎn)品決策。

在這個(gè)框架下，一個(gè)成功的實(shí)驗(yàn)既是有效的（正確實(shí)施，具有健康的流量分配，沒(méi)有樣本不匹配），又是決策就緒的。結(jié)果必須明確支持以下三種行動(dòng)之一：發(fā)布、中止或迭代。這個(gè)指標(biāo)將實(shí)驗(yàn)的成功重新定義為決策的信息學(xué)習(xí)——即使結(jié)果不是積極的。

實(shí)驗(yàn)平臺(tái) Confidence 使數(shù)百個(gè)團(tuán)隊(duì)能夠同時(shí)進(jìn)行實(shí)驗(yàn)。公司的焦點(diǎn)已經(jīng)發(fā)生了變化：從提高測(cè)試速度到優(yōu)化測(cè)試質(zhì)量和業(yè)務(wù)影響。

實(shí)驗(yàn)期望偏差。來(lái)源：Spotify 工程網(wǎng)站

EwL 必須滿(mǎn)足兩個(gè)條件：

• 有效：所有的系統(tǒng)、指標(biāo)和樣本檢查都按預(yù)期工作。

• 決策就緒：結(jié)果清楚地指示下一步行動(dòng)——發(fā)布：一個(gè)指標(biāo)在沒(méi)有回歸的情況下得到改善。中止：檢測(cè)到一個(gè)回歸。中性但有動(dòng)力：這種效應(yīng)是中性的，但如果實(shí)驗(yàn)足夠強(qiáng)大，可以檢測(cè)到它是否存在。

被歸類(lèi)為“無(wú)學(xué)習(xí)”的實(shí)驗(yàn)不能滿(mǎn)足這些標(biāo)準(zhǔn)中的一個(gè)或多個(gè)。。它們被分為三種類(lèi)型：無(wú)效（運(yùn)行健康檢查失敗或設(shè)置錯(cuò)誤）、無(wú)動(dòng)力（在任何關(guān)鍵指標(biāo)上數(shù)據(jù)都不足的中性結(jié)果）和提前中止（測(cè)試在運(yùn)行中途停止，收集實(shí)驗(yàn)者反饋進(jìn)行分析）。

雖然傳統(tǒng)的 A/B 測(cè)試框架強(qiáng)調(diào)的是勝率，但數(shù)據(jù)顯示，學(xué)習(xí)是實(shí)驗(yàn)健康的一個(gè)更強(qiáng)有力的指標(biāo)。在 Spotify 的研發(fā)部門(mén)，平均學(xué)習(xí)率為 64%，勝率約為 12%。

勝率與學(xué)習(xí)率。進(jìn)行的實(shí)驗(yàn)。來(lái)源：Spotify 工程網(wǎng)站

這一差距凸顯出，最重要的價(jià)值來(lái)自于及早發(fā)現(xiàn)哪些東西不起作用，或者發(fā)現(xiàn)回歸——這在擁有數(shù)億用戶(hù)的成熟產(chǎn)品中尤為重要。許多實(shí)驗(yàn)的目標(biāo)不是直接提高用戶(hù)粘性，而是降低后端、基礎(chǔ)設(shè)施或用戶(hù)體驗(yàn)變化導(dǎo)致的性能下降的風(fēng)險(xiǎn)。

2018 年，活躍的實(shí)驗(yàn)團(tuán)隊(duì)數(shù)量從約 40 個(gè)增加到近 300 個(gè)。這種增長(zhǎng)需要對(duì)技術(shù)、SDK、分析工具和簡(jiǎn)化的 UI 進(jìn)行投資，也需要通過(guò)培訓(xùn)、文檔和最佳實(shí)踐對(duì)公司文化進(jìn)行投資。

在主要的應(yīng)用程序界面上進(jìn)行了密集的實(shí)驗(yàn)：僅手機(jī)主屏幕一年內(nèi)就有 58 個(gè)團(tuán)隊(duì)進(jìn)行了 520 次實(shí)驗(yàn)。由于帶寬測(cè)試是有限的，EwL 有助于最有效地分配實(shí)驗(yàn)容量。

EwL 匯率是一個(gè)戰(zhàn)略信號(hào)：

• 穩(wěn)定的學(xué)習(xí)率和不斷下降的勝率表明實(shí)驗(yàn)質(zhì)量很高，但產(chǎn)品回報(bào)在減少，這表明需要更大膽的創(chuàng)新賭注。

• 高學(xué)習(xí)率與低業(yè)務(wù)回報(bào)相結(jié)合可以揭示錯(cuò)誤分配的測(cè)試能力，促使表面區(qū)域或計(jì)劃的重新優(yōu)先級(jí)。

在操作上，Confidence 使用 EwL 洞察力將帶寬引導(dǎo)到產(chǎn)生最可操作的學(xué)習(xí)的產(chǎn)品領(lǐng)域，同時(shí)減少其他地方的低收益實(shí)驗(yàn)。

EwL 結(jié)果還可以指導(dǎo)平臺(tái)的持續(xù)改進(jìn)。當(dāng)學(xué)習(xí)率下降時(shí)，診斷信號(hào)通常表明測(cè)試動(dòng)力不足、集成薄弱或配置摩擦。Spotify 平臺(tái)團(tuán)隊(duì)的回應(yīng)是：

• 樣本大小計(jì)算器，以便更好地規(guī)劃。

• 健康檢查工具，用于及早發(fā)現(xiàn)無(wú)效設(shè)置。

• 在無(wú)效率較高的跨棧文檔和 API 中集成。

在組織層面，諸如增加實(shí)驗(yàn)審查員和調(diào)整訪(fǎng)問(wèn)控制等舉措顯著地改善了 EwL 率，提高了實(shí)踐質(zhì)量和對(duì)結(jié)果的信心。

為了維護(hù)指標(biāo)的完整性，我們會(huì)對(duì)三個(gè)關(guān)鍵指標(biāo)進(jìn)行監(jiān)控：

1. 勝率——確保團(tuán)隊(duì)仍能取得積極成果。

2. 實(shí)驗(yàn)量——保持高吞吐量以維持學(xué)習(xí)速度。

3. 精度——確保效應(yīng)值在統(tǒng)計(jì)上保持可靠。

例如，降低最小可檢測(cè)效應(yīng)大小可能會(huì)通過(guò)將更多的測(cè)試歸類(lèi)為“動(dòng)力中性”而人為地提高 EwL，但會(huì)破壞精度。這些權(quán)衡是為了避免以犧牲創(chuàng)新速度為代價(jià)來(lái)優(yōu)化 EwL 的。

Spotify 的實(shí)驗(yàn)結(jié)果。來(lái)源：Spotify 工程網(wǎng)站

實(shí)驗(yàn)被視為洞察力的驅(qū)動(dòng)因素，而不僅僅是速度的驅(qū)動(dòng)因素。它的 EwL 指標(biāo)代表 64% 的學(xué)習(xí)率和 12% 的勝率，強(qiáng)化了避免不利結(jié)果和發(fā)現(xiàn)中性結(jié)果與傳統(tǒng)勝利一樣能增加商業(yè)價(jià)值的原則。

一些“沒(méi)有學(xué)習(xí)”的實(shí)驗(yàn)仍然存在，這表明實(shí)驗(yàn)進(jìn)展得足夠快，足以維持創(chuàng)新。關(guān)鍵在于平衡：快速迭代、嚴(yán)格設(shè)計(jì)以及從每個(gè)結(jié)果中不斷學(xué)習(xí)。

https://www.infoq.com/news/2025/12/spotify-product-experiments/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。