自動(dòng)化測(cè)試喊了很多年，真正落地的團(tuán)隊(duì)卻不多。不是不想做，是門(mén)檻實(shí)在太高——業(yè)務(wù)人員不會(huì)寫(xiě)代碼，會(huì)寫(xiě)代碼的人又懶得維護(hù)腳本。Microsoft Edge QA團(tuán)隊(duì)最近開(kāi)源的AutoGenesis，想拆掉這道墻：讓測(cè)試人員用自然語(yǔ)言描述場(chǎng)景，AI負(fù)責(zé)生成代碼，確定性的程序負(fù)責(zé)執(zhí)行。他們?cè)赪indows、macOS、iOS、Android四個(gè)平臺(tái)上跑通了這套方案，月執(zhí)行步驟超過(guò)200萬(wàn)，通過(guò)率99%，用例規(guī)模700+。

頻繁發(fā)版、需求變得比翻臉還快、團(tuán)隊(duì)規(guī)模不管大小……很多測(cè)試工程師的噩夢(mèng)，Edge團(tuán)隊(duì)一樣不落全中。

Edge基于Chromium開(kāi)發(fā)，跟著Chrome的高頻發(fā)版節(jié)奏，每次Chromium的變更都難以預(yù)測(cè)，回歸測(cè)試量極大。為了破局，團(tuán)隊(duì)折騰了好幾輪技術(shù)方案，最終做出了AutoGenesis。

AI能力爆發(fā)之后，一個(gè)念頭很自然：能不能讓AI包辦自動(dòng)化測(cè)試？

理論上，AI能聽(tīng)懂人話、能快速學(xué)習(xí)不同平臺(tái)的UI結(jié)構(gòu)，似乎完美契合。但關(guān)鍵問(wèn)題是：怎么用AI？直接讓它執(zhí)行測(cè)試，還是只讓它生成代碼？這個(gè)選擇決定了方案是能用還是不能用。

團(tuán)隊(duì)系統(tǒng)對(duì)比了三條路，發(fā)現(xiàn)AI直接執(zhí)行這條路走不通。

AI的不確定性是"執(zhí)行"環(huán)節(jié)的致命傷。測(cè)試步驟一多，AI可能忘記上下文，重復(fù)執(zhí)行；遇到意外彈窗，可能陷入無(wú)限循環(huán)；更麻煩的是，你無(wú)法準(zhǔn)確追蹤"現(xiàn)在走到哪一步了"，出錯(cuò)后根本定位不了問(wèn)題。

讓AI基于截圖判斷"測(cè)試是否通過(guò)"同樣不靠譜：把"看起來(lái)像成功"誤判為通過(guò)，無(wú)法像傳統(tǒng)斷言那樣精確驗(yàn)證文本和數(shù)值，判斷過(guò)程還是黑盒，失敗時(shí)無(wú)從追溯。

這就像雇一個(gè)人在黑暗中蒙眼走路——偶爾走對(duì)，但你不敢把身家性命押上去。Demo階段或許能糊弄過(guò)去，生產(chǎn)環(huán)境絕對(duì)不行。

AutoGenesis的解法很克制：AI只做它最擅長(zhǎng)的事（理解意圖、生成代碼），確定性的程序做它最擅長(zhǎng)的事（穩(wěn)定執(zhí)行）。

為了落地這個(gè)理念，團(tuán)隊(duì)設(shè)計(jì)了四層架構(gòu)，核心原則是AI的工作邊界嚴(yán)格限定在第二層，第四層執(zhí)行層完全不碰AI：

架構(gòu)解決了技術(shù)可行性，但真正的考驗(yàn)是怎么讓團(tuán)隊(duì)用起來(lái)。Edge團(tuán)隊(duì)的測(cè)試人員里，外包占大多數(shù)——懂業(yè)務(wù)、會(huì)設(shè)計(jì)用例，但不懂編程。傳統(tǒng)自動(dòng)化對(duì)他們來(lái)說(shuō)門(mén)檻太高，只能繼續(xù)手工點(diǎn)點(diǎn)點(diǎn)。

AutoGenesis改變了分工：正式工程師搭建工具鏈、制定標(biāo)準(zhǔn)、培訓(xùn)外包；外包人員用自然語(yǔ)言寫(xiě)測(cè)試場(chǎng)景，AI生成代碼。外包員工用自己擅長(zhǎng)的方式，直接產(chǎn)出專業(yè)級(jí)自動(dòng)化代碼，完全不需要學(xué)編程。

數(shù)據(jù)說(shuō)話：月度運(yùn)行超過(guò)200萬(wàn)步驟，99%通過(guò)率，700+用例規(guī)模。AutoGenesis不只是工具，更是一套方法論——技術(shù)人員專注架構(gòu)與知識(shí)傳遞，非技術(shù)人員從手工測(cè)試升級(jí)為自動(dòng)化建設(shè)者。

具體用起來(lái)比想象中簡(jiǎn)單。不需要懂Selenium，不需要懂Appium，只需要會(huì)描述"我想測(cè)什么"：

第一步，用Gherkin格式寫(xiě)測(cè)試場(chǎng)景，接近自然語(yǔ)言：

Feature: Edge Pagerendering Tests
Scenario: Test msn.com website on Edge
Given I have launched Edge browser
When I click the search box in NTP page
And I input "msn.com" in the search box
And I press enter to navigate to the page
And I wait for the page to load completely
Then I should see the tab with the title "msn.com"

第二步，觸發(fā)AI生成代碼?？梢杂肰S Code擴(kuò)展里的"Send to Copilot"按鈕，也可以在GitHub Copilot Chat里直接調(diào)用autoGenesis-run skill。

第三步，Copilot自動(dòng)調(diào)用MCP工具逐步執(zhí)行，生成Python步驟定義代碼。

第四步，執(zhí)行測(cè)試。點(diǎn)擊"Run"按鈕，或者命令行運(yùn)行behave features/。

這個(gè)簡(jiǎn)潔體驗(yàn)的背后，是四層架構(gòu)各司其職。LLM層只做一件事：把Gherkin步驟翻譯成MCP工具調(diào)用序列，生成Python步驟定義代碼。為了支持四大平臺(tái)，團(tuán)隊(duì)實(shí)現(xiàn)了兩個(gè)MCP Server——PyWinauto MCP Server管Windows，Appium MCP Server管iOS、Android和macOS。

AI有不確定性，怎么保證生成的代碼可控？團(tuán)隊(duì)設(shè)計(jì)了三階段Preview-Confirm工作流，把代碼寫(xiě)入控制權(quán)交還給人類：先清除緩存、生成唯一ID，然后Copilot逐步調(diào)用工具并自動(dòng)錄制，接著生成diff預(yù)覽供人工審查，最后確認(rèn)無(wú)誤才寫(xiě)入文件。

執(zhí)行層選了Behave——Python生態(tài)里成熟的BDD框架。Gherkin的語(yǔ)法結(jié)構(gòu)和LLM的推理模式天然契合，自然語(yǔ)言描述的用例讓QA、PM甚至外包都能參與定義，打破了"自動(dòng)化只能靠開(kāi)發(fā)者"的壁壘。由于Behave是同步框架而MCP是異步實(shí)現(xiàn)，團(tuán)隊(duì)用janus.Queue做了線程橋接，步驟函數(shù)通過(guò)call_tool_sync以同步方式調(diào)用異步工具，超時(shí)400秒。

VS Code擴(kuò)展不是必須的，但確實(shí)降低了門(mén)檻。擴(kuò)展在每個(gè)Scenario上方顯示"Send to Copilot"和"Run"兩個(gè)按鈕，一鍵觸發(fā)；Setup管理面板自動(dòng)檢測(cè)Python、Node.js、MCP Server配置，可視化解決環(huán)境問(wèn)題。核心能力完全獨(dú)立，擴(kuò)展和Skill只是效率增強(qiáng)。

回到最初的問(wèn)題——技術(shù)門(mén)檻高、腳本維護(hù)難，AutoGenesis用四個(gè)設(shè)計(jì)回應(yīng)：

自然語(yǔ)言描述，AI生成代碼。Edge團(tuán)隊(duì)的外包人員貢獻(xiàn)了413個(gè)PR，證明可行。

一套技術(shù)棧覆蓋四大平臺(tái)，告別各平臺(tái)獨(dú)立維護(hù)的噩夢(mèng)。

MCP協(xié)議約束AI邊界，執(zhí)行層脫離AI推理，99%通過(guò)率驗(yàn)證了穩(wěn)定性。

單場(chǎng)景編寫(xiě)從2-3小時(shí)縮短到10-15分鐘，后續(xù)執(zhí)行零AI調(diào)用成本，規(guī)模越大越劃算。

測(cè)試自動(dòng)化做了很多年，大家都知道重要，但真正推進(jìn)時(shí)總被門(mén)檻和維護(hù)成本絆住。AutoGenesis的價(jià)值在于同時(shí)解決這兩個(gè)問(wèn)題——用AI降低門(mén)檻，用"AI只生成不執(zhí)行"保證穩(wěn)定性。這不是炫技的工具，是從工程師需求出發(fā)、在真實(shí)業(yè)務(wù)里打磨出來(lái)的務(wù)實(shí)方案。

開(kāi)源地址：github.com/microsoft/AutoGenesis，MIT License。如果你的團(tuán)隊(duì)也正面臨這些挑戰(zhàn)，這個(gè)案例或許能給你一些真正"能落地"的啟發(fā)。