AI正在迅速改變工作，領(lǐng)導(dǎo)者難以清晰闡述其組織將如何適應(yīng)，這是可以理解的。這是因?yàn)槿狈?優(yōu)秀"標(biāo)準(zhǔn)的明確定義。頂尖的AI使用者在與AI工具協(xié)作時(shí)展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個(gè)AI平臺，并將日益復(fù)雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動態(tài)協(xié)作者而非單一用途工具的心智模型。

企業(yè)正迅速將AI工具交到員工手中。然而，盡管投入巨大，許多領(lǐng)導(dǎo)者仍在努力評估其成效。AI是否切實(shí)提升了工作質(zhì)量、速度與雄心？它是否增強(qiáng)了專業(yè)判斷力？誰在用AI方面取得了成功，原因何在？成功的應(yīng)用究竟是何面貌？

由于目前還沒有大規(guī)模適用的工具和框架來衡量員工的定性成果，大多數(shù)組織缺乏明確的、基于行為的信號來表明人工智能是否產(chǎn)生了積極影響。在缺乏有效信號時(shí)，領(lǐng)導(dǎo)者往往退而求其次，選擇最易量化的表層指標(biāo)：使用頻次、在線時(shí)長、提示詞數(shù)量、消耗的token量以及員工自評的技能水平，這些便成了衡量AI應(yīng)用進(jìn)展的替代性指標(biāo)。換句話說，他們衡量的是活動量，而非應(yīng)用水平或?qū)嶋H影響力。

不足為奇，績效提升參差不齊，領(lǐng)導(dǎo)者難以就員工如何利用AI提升績效提供具體指導(dǎo)。沒有更有效的衡量方式，領(lǐng)導(dǎo)者就無法判斷哪些行為需要強(qiáng)化，哪些需要教導(dǎo)，哪些需要摒棄。

為了解常規(guī)AI使用與高級人機(jī)協(xié)作之間的區(qū)別，畢馬威與德克薩斯大學(xué)奧斯汀分校的研究人員合作。我們共同分析了在八個(gè)月期間，由約2500名員工生成的超過140萬條AI提示詞與回復(fù)。通過這項(xiàng)分析，我們建立了一個(gè)基于提示詞工程的高級使用定義——強(qiáng)調(diào)清晰的提示詞加上有意識應(yīng)用的策略——并發(fā)掘了一組低成本、可觀察的指標(biāo)，例如模型切換和結(jié)構(gòu)化的初始提示詞，這些指標(biāo)可預(yù)測高水平使用。這些洞察正被系統(tǒng)性地融入畢馬威的人才發(fā)展、學(xué)習(xí)體系與績效管理框架中，形成一套可供任何組織借鑒的完整方法論——用于系統(tǒng)性培養(yǎng)并科學(xué)評估員工高階AI應(yīng)用能力。

頂尖AI使用者有何不同？

項(xiàng)目開始時(shí)，畢馬威的AI應(yīng)用已達(dá)到相對成熟的階段：近90%的員工定期使用AI，且可用的工具集不斷增長。公司可以衡量使用頻率，但缺乏對有效或高級應(yīng)用的具體定義及其衡量方法。這是個(gè)問題。沒有這種清晰度，就難以推動組織超越基礎(chǔ)應(yīng)用的階段。我們相信，如果能定義和衡量"優(yōu)秀"的標(biāo)準(zhǔn)，就能更有意識地鼓勵(lì)全公司范圍內(nèi)的、高影響力的高級AI使用。

我們的研究分析了涵蓋不同職能、角色和經(jīng)驗(yàn)水平的多元化專業(yè)人士的習(xí)慣�；叵胍幌拢诎藗�(gè)月的時(shí)間里，我們創(chuàng)建了一個(gè)包含2500名員工所有生成提示詞與答案的檔案——總計(jì)140萬條。數(shù)據(jù)集的規(guī)模和持續(xù)時(shí)間使我們能夠超越一時(shí)之快，不僅看到員工在某一天如何使用AI，還能觀察到他們在界定問題、引導(dǎo)推理、評估輸出以及將AI應(yīng)用于不同類型工作的模式，如何隨著時(shí)間演變和分化。

為了分析這些數(shù)據(jù)，我們請OpenAI的"思維模型"之一——ChatGPT模型o1——來評估每次對話（包括提示詞和回復(fù)），并判斷某些特征是否存在，包括用例類型、提示詞工程策略以及AI使用的其他行為指標(biāo)。這項(xiàng)分析消耗了大量計(jì)算時(shí)間，產(chǎn)生了超過50個(gè)變量，隨后我們對其進(jìn)行了提煉。

掌握了這些信號后，我們提出疑問：這些信號如何提供一個(gè)簡化的指南，幫助人們實(shí)現(xiàn)更有效的使用？它們能否在不使用我們研究中那樣昂貴計(jì)算資源的情況下，幫助我們識別"超級用戶"？以下是我們發(fā)現(xiàn)的。

解析高級應(yīng)用

當(dāng)我們識別出公司里最高級的用戶時(shí)，發(fā)現(xiàn)他們在角色和資歷上差異很大，但也出現(xiàn)了明顯的共同點(diǎn)。我們發(fā)現(xiàn)高級用戶似乎都具備四種不同的行為模式：

他們在使用AI時(shí)抱有雄心。高級的AI應(yīng)用源于長期積累的復(fù)合行為，而不僅僅是使用量。頂級用戶往往與大型語言模型有更長的互動和更多來回對話；撰寫更長、更復(fù)雜的初始提示詞；根據(jù)任務(wù)有意識地在模型或工具間切換；并且使用AI的頻率相對較高。

他們將AI視為推理伙伴。他們并非全盤接受初始輸出，而是主動塑造模型的思考。他們使用諸如角色定義、為LLM提供期望輸出的示例、迭代優(yōu)化、自我驗(yàn)證和結(jié)構(gòu)化推理提示等技術(shù)。其價(jià)值來自長期引導(dǎo)模型，而非提出"更好"的一次性問題。他們讓模型幫助思考問題、檢驗(yàn)假設(shè)、探索替代方案。這種行為體現(xiàn)在堅(jiān)持解決問題、使用結(jié)構(gòu)化提示詞和采用迭代改進(jìn)上。

他們以清晰的目標(biāo)委派復(fù)雜任務(wù)。高級用戶也更可能將復(fù)雜的、多步驟的任務(wù)委派給AI。他們會指定約束條件和成功標(biāo)準(zhǔn)，定義期望的回應(yīng)結(jié)構(gòu)，并闡明清晰的目標(biāo)。他們的雄心不僅體現(xiàn)在提示詞的長度上，還體現(xiàn)在所委派任務(wù)的復(fù)雜性上。

他們將AI視為通用認(rèn)知工具，而非狹隘的"生產(chǎn)力捷徑"。高級應(yīng)用體現(xiàn)在創(chuàng)意構(gòu)思、分析、技術(shù)指導(dǎo)、知識工作和問題解決等多個(gè)方面。高級用戶在廣泛的用例中運(yùn)用AI，并根據(jù)用例在模型間有意識地切換。非正式語言、拼寫錯(cuò)誤和對話式語氣常伴隨高級使用——這些都是微小但能說明問題的跡象，體現(xiàn)了用戶的自如和流暢。

一幅圖景由此浮現(xiàn)：高級用戶在與AI工具協(xié)作時(shí)展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個(gè)AI平臺，并將日益復(fù)雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動態(tài)協(xié)作者而非單一用途工具的心智模型。

研究還揭示了一個(gè)令人驚訝的趨勢：最佳使用者往往是經(jīng)理級及以上的員工。這令我們感到意外，因?yàn)閭鹘y(tǒng)觀點(diǎn)認(rèn)為初級員工往往對這些工具感到更自在，使用起來也更自然。但研究結(jié)果表明，"自在"與"精通" 之間可能存在重要區(qū)別。

我們還注意到其他幾個(gè)重要趨勢：

盡管公司內(nèi)AI應(yīng)用廣泛（再次強(qiáng)調(diào)，約90%），但我們發(fā)現(xiàn)僅有約5%的用戶符合我們定義的"高度精通"。這種早期高級使用的集中度表明，大型組織中的AI應(yīng)用并非自然而然或均勻發(fā)生。相反，它強(qiáng)調(diào)，推動有意義、創(chuàng)造價(jià)值的應(yīng)用，需要比僅僅向員工提供工具更刻意的干預(yù)。

盡管各級員工都使用LLM輔助寫作，但經(jīng)理及以上級別的員工更可能將LLM用于更多樣化的任務(wù)，如技術(shù)指導(dǎo)和創(chuàng)意構(gòu)思。這表明，經(jīng)驗(yàn)和角色背景不僅影響AI使用的頻率，也影響其如何融入核心工作。

初級員工比高級員工更可能將公司的LLM用于個(gè)人任務(wù)。因此，使用頻率可能不是衡量生產(chǎn)力的可靠信號。

經(jīng)理以下職位的員工在與LLM互動時(shí)，更少采用有意識的策略，而經(jīng)理及以上員工則更可能這樣做。他們也更可能提出清晰的請求。

領(lǐng)導(dǎo)者應(yīng)如何改變做法

研究結(jié)果表明，企業(yè)需要將AI工作的重點(diǎn)從推動應(yīng)用轉(zhuǎn)向塑造習(xí)慣。當(dāng)人們學(xué)會如何清晰界定問題、引導(dǎo)模型推理、批判性評估輸出，并在工作中靈活應(yīng)用AI時(shí)，高級的AI應(yīng)用便會出現(xiàn)。簡而言之，這更多關(guān)乎專業(yè)人士如何思考并借助AI做出決策，而更少關(guān)乎工具本身。那些產(chǎn)生影響的、可積累的少數(shù)行為是可觀察、可教授且可擴(kuò)展的。

以下是領(lǐng)導(dǎo)者應(yīng)關(guān)注的重點(diǎn)。

制定"AI優(yōu)先"的最佳實(shí)踐

如果你想通過AI獲得不同的結(jié)果，就必須讓不同的行為變得可見、可討論、可期待。研究揭示了畢馬威希望鼓勵(lì)的具體行為，因此領(lǐng)導(dǎo)者將其轉(zhuǎn)化為實(shí)用的手冊、簡短的說明以及同行主導(dǎo)的"先鋒"網(wǎng)絡(luò)，強(qiáng)調(diào)高級應(yīng)用在日常工作中的樣子。其目標(biāo)是創(chuàng)建一個(gè)關(guān)于"優(yōu)秀標(biāo)準(zhǔn)"的共識，并在全公司范圍內(nèi)強(qiáng)化。

重新思考技能提升

這些發(fā)現(xiàn)重塑了畢馬威的發(fā)展方式，重點(diǎn)在于幫助員工在完成本職工作的流程中，建立有效使用AI的信心。畢馬威投資于由跨職能團(tuán)隊(duì)開發(fā)的、注重實(shí)踐的、基于應(yīng)用的培訓(xùn)。在各地辦公室和虛擬教室中，基于情景的培訓(xùn)讓專業(yè)人員沉浸在真實(shí)的客戶和內(nèi)部工作中，并高度強(qiáng)調(diào)高級協(xié)作行為，例如將復(fù)雜任務(wù)委派給AI、引導(dǎo)模型推理、驗(yàn)證輸出以及隨時(shí)間推移優(yōu)化方法。

為成長與發(fā)展設(shè)定清晰期望

這項(xiàng)工作并非要改變?nèi)瞬殴芾硐到y(tǒng)或流程，而是要明確在AI賦能的世界中，優(yōu)秀的工作應(yīng)是什么樣子。利用這項(xiàng)研究，畢馬威將有效的AI賦能工作的樣貌，轉(zhuǎn)化為實(shí)用的、針對角色和任務(wù)級別的期望，認(rèn)識到高質(zhì)量的判斷力在不同職能、級別和交付情境中表現(xiàn)各異。例如，審計(jì)、稅務(wù)、咨詢和業(yè)務(wù)處理部門在截然不同的環(huán)境中運(yùn)作，面臨不同的風(fēng)險(xiǎn)、法規(guī)和交付模式，AI需要支持這些現(xiàn)實(shí)。因此，"AI優(yōu)先"的期望按部門量身定制，無論是審計(jì)中的AI輔助風(fēng)險(xiǎn)評估、咨詢中更快的研究和情景規(guī)劃，還是稅務(wù)中更自動化、更高質(zhì)量的工作成果。

其意圖是為員工和領(lǐng)導(dǎo)者提供更清晰的信號，表明AI應(yīng)如何支持日常決策、工作質(zhì)量和客戶成果。

AI正在迅速改變工作，領(lǐng)導(dǎo)者難以清晰闡述其組織將如何適應(yīng)，這是可以理解的。通常，這是因?yàn)槿狈?優(yōu)秀"標(biāo)準(zhǔn)的明確定義。理解為什么一些員工能成功運(yùn)用AI——以及它如何讓他們做得更好——是幫助所有人學(xué)會使用這些工具的第一步。

關(guān)鍵詞：

尼克·霍爾曼（Nick Hallman）、扎克·科瓦萊斯基（Zach Kowaleski）、阿努·普瓦亞（Anu Puvvada）、杰米·J·施密特（Jaime J. Schmidt）|文

尼克·霍爾曼是德克薩斯大學(xué)奧斯汀分校舒爾金會計(jì)系副教授。扎克·科瓦萊斯基是德克薩斯大學(xué)奧斯汀分校舒爾金會計(jì)系助理教授。阿努·普瓦亞領(lǐng)導(dǎo)畢馬威工作室，她將前瞻性研究與風(fēng)險(xiǎn)投資構(gòu)建相結(jié)合，以識別新興機(jī)遇并推出可擴(kuò)展的服務(wù)和科技賦能業(yè)務(wù)。杰米·J·施密特是德克薩斯大學(xué)奧斯汀分校麥庫姆斯商學(xué)院舒爾金會計(jì)系教授。

周強(qiáng)|編校

聯(lián)系方式

投稿、廣告、內(nèi)容和商務(wù)合作

newmedia@hbrchina.org