手游公司每月跑幾十個(gè)實(shí)驗(yàn)，分析團(tuán)隊(duì)卻還在用Excel拼報(bào)表。Sega HARDlight的數(shù)據(jù)負(fù)責(zé)人發(fā)現(xiàn)，同一份數(shù)據(jù)，三個(gè)分析師能算出三種結(jié)論。這不是能力問題，是工具問題。

2023年，他們決定把A/B測(cè)試分析搬到Databricks上。結(jié)果實(shí)驗(yàn)容量翻倍，沒招一個(gè)人。更意外的是，那些從不看數(shù)據(jù)的產(chǎn)品經(jīng)理，開始每天刷實(shí)驗(yàn)狀態(tài)了。

從"各顯神通"到"一條流水線"

HARDlight的問題很典型。實(shí)驗(yàn)數(shù)據(jù)散落在不同系統(tǒng)，分析師各自寫腳本，統(tǒng)計(jì)方法也不統(tǒng)一。有人用95%置信區(qū)間，有人用90%；有人看7天留存，有人非要等14天。同樣的實(shí)驗(yàn)，結(jié)論取決于誰做的分析。

這種混亂直接傷害信任。產(chǎn)品經(jīng)理覺得"數(shù)據(jù)可以隨便說"，數(shù)據(jù)團(tuán)隊(duì)疲于解釋口徑，決策越來越憑直覺。HARDlight的數(shù)據(jù)負(fù)責(zé)人回憶，曾有實(shí)驗(yàn)上線三天后才發(fā)現(xiàn)樣本量計(jì)算錯(cuò)誤，整組數(shù)據(jù)作廢。

他們需要的不是更快的分析師，是一套"無人值守"的基礎(chǔ)設(shè)施。實(shí)驗(yàn)數(shù)據(jù)自動(dòng)流進(jìn)來，統(tǒng)計(jì)模型統(tǒng)一跑，結(jié)果分層展示給不同角色的人看。Databricks的湖倉架構(gòu)成了底座，但真正的設(shè)計(jì)挑戰(zhàn)在流程：怎么讓非技術(shù)同事也能看懂，又不犧牲嚴(yán)謹(jǐn)性？

最終架構(gòu)分成三層：標(biāo)準(zhǔn)化接入層做數(shù)據(jù)清洗，統(tǒng)計(jì)建模層跑推斷邏輯，AI/BI展示層按角色推送信息。關(guān)鍵設(shè)計(jì)是"漸進(jìn)式披露"——最上面一層用LLM（大語言模型）生成每日摘要，往下鉆才是原始指標(biāo)、診斷圖表、行動(dòng)建議。

這套系統(tǒng)上線后，實(shí)驗(yàn)分析從"人等項(xiàng)目"變成"項(xiàng)目等人"。數(shù)據(jù)工程師不再被臨時(shí)需求打斷，分析師專注設(shè)計(jì)更復(fù)雜的實(shí)驗(yàn)，產(chǎn)品經(jīng)理自己就能盯進(jìn)度。

LLM摘要：讓數(shù)據(jù)"說人話"的實(shí)驗(yàn)

HARDlight給每天刷實(shí)驗(yàn)狀態(tài)的人做了一個(gè)大膽嘗試：用LLM自動(dòng)生成自然語言摘要。不是替代分析，是降低門檻。

摘要模板很克制。系統(tǒng)只陳述事實(shí)："實(shí)驗(yàn)A運(yùn)行第5天，核心指標(biāo)無顯著變化，樣本量達(dá)成率67%，建議繼續(xù)觀察。"沒有形容詞，不預(yù)測(cè)結(jié)果，更不替人決策。但這對(duì)高層管理者足夠用了——他們只需要知道"哪些實(shí)驗(yàn)需要我關(guān)注"。

想深挖的人往下點(diǎn)。第二層是KPI看板，展示留存、付費(fèi)、時(shí)長等核心指標(biāo)的置信區(qū)間。第三層開放原始診斷：樣本分布是否均衡？指標(biāo)方差是否異常？有沒有早期偷看（peeking）的偏誤？

這種分層設(shè)計(jì)解決了一個(gè)老問題：同一份數(shù)據(jù)，怎么同時(shí)服務(wù)"只想知道行不行"的老板和"必須知道為什么"的分析師。以前要做兩份報(bào)告，現(xiàn)在一份動(dòng)態(tài)視圖搞定。

LLM摘要的準(zhǔn)確性經(jīng)過嚴(yán)格校驗(yàn)。HARDlight用歷史實(shí)驗(yàn)數(shù)據(jù)做回測(cè)，確保模型不會(huì) hallucinate（幻覺生成）統(tǒng)計(jì)結(jié)論。摘要只基于已計(jì)算好的指標(biāo)，不做額外推斷——這是條紅線。

凍結(jié)機(jī)制：實(shí)驗(yàn)結(jié)束，記憶不消失

手游行業(yè)有個(gè)通?。簩?shí)驗(yàn)做完，報(bào)告散佚。三個(gè)月后有人問"上次那個(gè)按鈕顏色測(cè)試什么結(jié)論"，沒人答得上來。

HARDlight在系統(tǒng)里加了一個(gè)"凍結(jié)"功能。實(shí)驗(yàn)正式結(jié)束后，所有數(shù)據(jù)、代碼版本、統(tǒng)計(jì)參數(shù)、業(yè)務(wù)上下文自動(dòng)歸檔，生成不可篡改的記錄。這不是為了審計(jì)，是為了積累組織記憶。

他們內(nèi)部有個(gè)數(shù)字：2023年重復(fù)實(shí)驗(yàn)（因找不到歷史結(jié)論而重新做的測(cè)試）減少了約40%。省下的不只是資源，是決策速度。新策劃入職后，能直接檢索過去兩年的實(shí)驗(yàn)檔案，快速理解"我們?cè)囘^什么，學(xué)到了什么"。

凍結(jié)機(jī)制還有個(gè)意外收益。以前實(shí)驗(yàn)提前下線，往往是因?yàn)橛腥?感覺不對(duì)"而手動(dòng)叫停?，F(xiàn)在系統(tǒng)強(qiáng)制要求填寫終止原因，并保留當(dāng)時(shí)的全部中間數(shù)據(jù)。回頭看，很多"感覺"其實(shí)沒有統(tǒng)計(jì)支撐，這個(gè)發(fā)現(xiàn)改變了團(tuán)隊(duì)的決策文化。

2倍實(shí)驗(yàn)量背后的組織變革

技術(shù)架構(gòu)只是 half of the story（故事的一半）。HARDlight真正的收獲，是實(shí)驗(yàn)從"支持部門的支持職能"變成了產(chǎn)品流程的默認(rèn)環(huán)節(jié)。

以前立項(xiàng)要論證"為什么做A/B測(cè)試"，現(xiàn)在反過來，不做測(cè)試需要特別說明。這種轉(zhuǎn)變不是靠行政命令，是靠工具降低了摩擦成本。產(chǎn)品經(jīng)理在策劃會(huì)上直接打開dashboard，當(dāng)場(chǎng)看類似實(shí)驗(yàn)的歷史效果，討論質(zhì)量明顯提升。

數(shù)據(jù)團(tuán)隊(duì)的角色也變了。從"跑需求的乙方"變成"定義標(biāo)準(zhǔn)的平臺(tái)方"。他們花更多時(shí)間設(shè)計(jì)實(shí)驗(yàn)?zāi)０?、培?xùn)統(tǒng)計(jì)思維、優(yōu)化推斷算法，而不是反復(fù)回答"這個(gè)數(shù)怎么算的"。

有個(gè)細(xì)節(jié)很有意思。系統(tǒng)上線半年后，HARDlight發(fā)現(xiàn)實(shí)驗(yàn)提前終止率下降了，但實(shí)驗(yàn)周期反而縮短了。原因是團(tuán)隊(duì)更擅長設(shè)計(jì)最小可行測(cè)試（MVT），不再追求"大而全"的驗(yàn)證。這種精細(xì)化的能力，正是標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施釋放出來的。

Sega HARDlight的案例沒有用什么尖端技術(shù)。Databricks是成熟平臺(tái)，LLM摘要用的是基礎(chǔ)模型，統(tǒng)計(jì)方法也是教科書級(jí)別的。他們的創(chuàng)新在于流程設(shè)計(jì)：怎么讓嚴(yán)謹(jǐn)?shù)目茖W(xué)方法，以不同粒度觸達(dá)組織里的每個(gè)人。

手游行業(yè)的A/B測(cè)試還在進(jìn)化。當(dāng)實(shí)驗(yàn)成本降到接近零，真正的瓶頸會(huì)變成"我們有沒有足夠的好假設(shè)值得驗(yàn)證"——這個(gè)問題，工具幫不了忙。