谷歌發(fā)布新研究，展示了一種利用生成式AI評(píng)估"未來就緒"技能的全新方法。與紐約大學(xué)聯(lián)合開展的研究結(jié)果表明，AI評(píng)分結(jié)果與人類專家的評(píng)分水平相當(dāng)。這一研究實(shí)驗(yàn)項(xiàng)目Vantage現(xiàn)已在Google Labs上線，向公眾開放體驗(yàn)。

隨著AI以前所未有的速度持續(xù)演進(jìn)，"未來就緒"技能再度受到廣泛關(guān)注——這類經(jīng)久耐用的人類核心能力，無論技術(shù)如何迭代或自動(dòng)化程度如何提升，都將保持其價(jià)值。經(jīng)合組織《學(xué)習(xí)羅盤2030》和世界經(jīng)濟(jì)論壇《未來就業(yè)報(bào)告》等國(guó)際框架均明確指出了一批優(yōu)先技能，兩者共同強(qiáng)調(diào)批判性思維、協(xié)作能力與創(chuàng)意思維等核心能力。這些技能早在AI興起之前便被視為不可或缺，如今更是愈發(fā)重要。

谷歌今日正式發(fā)布Vantage——一項(xiàng)利用生成式AI在模擬環(huán)境中創(chuàng)建對(duì)話場(chǎng)景，以評(píng)估未來就緒技能的研究實(shí)驗(yàn)項(xiàng)目。Vantage由谷歌與紐約大學(xué)的教育學(xué)專家及研究人員聯(lián)合開發(fā)，旨在為高中生和大學(xué)生提供一個(gè)可供練習(xí)和經(jīng)過驗(yàn)證評(píng)估的沙盒環(huán)境，其構(gòu)建方法與數(shù)學(xué)、科學(xué)等核心學(xué)科傳統(tǒng)上所采用的系統(tǒng)性方法一脈相承。Vantage英文版現(xiàn)已在Google Labs開放注冊(cè)。

為何評(píng)估未來就緒技能如此重要

有效學(xué)習(xí)過程的核心在于反饋與評(píng)估，兩者對(duì)個(gè)人成長(zhǎng)和有效教學(xué)均至關(guān)重要。在全球教育體系中，"考什么就教什么"的現(xiàn)象普遍存在。

然而，未來就緒技能出了名地難以衡量。傳統(tǒng)測(cè)試方式過于僵化，難以捕捉人們的思維過程與互動(dòng)方式，也與這些技能在真實(shí)世界中的應(yīng)用場(chǎng)景相去甚遠(yuǎn)。在真實(shí)的人際互動(dòng)中測(cè)試這些技能固然是理想方式，但資源消耗極大，且難以在眾多學(xué)生中實(shí)現(xiàn)標(biāo)準(zhǔn)化和一致性評(píng)分。例如，如果一組學(xué)生從未產(chǎn)生分歧，又如何公正地評(píng)估他們的沖突解決能力？如果他們采納了第一個(gè)出現(xiàn)的想法，又如何評(píng)估在此基礎(chǔ)上創(chuàng)造性發(fā)展的能力？

谷歌研究團(tuán)隊(duì)致力于探索如何借助可擴(kuò)展、經(jīng)驗(yàn)證的方法評(píng)估學(xué)生的未來就緒技能，從而幫助教育者將課程與這些技能對(duì)齊，并支持學(xué)生持續(xù)成長(zhǎng)。

Vantage的運(yùn)作機(jī)制

Vantage的實(shí)驗(yàn)設(shè)置將學(xué)習(xí)者置于與AI虛擬角色進(jìn)行協(xié)作任務(wù)的動(dòng)態(tài)多方對(duì)話場(chǎng)景中。這一設(shè)置既能管控評(píng)估環(huán)境，又能模擬比現(xiàn)有標(biāo)準(zhǔn)化測(cè)試更真實(shí)、更貼近現(xiàn)實(shí)場(chǎng)景的互動(dòng)，為學(xué)習(xí)者提供一個(gè)應(yīng)對(duì)復(fù)雜人際與情境挑戰(zhàn)的沙盒空間。

當(dāng)用戶在開放式場(chǎng)景中——例如準(zhǔn)備辯論或提出創(chuàng)意方案——與AI虛擬角色互動(dòng)時(shí)，一個(gè)"執(zhí)行大語言模型"會(huì)依據(jù)預(yù)設(shè)的評(píng)估評(píng)分標(biāo)準(zhǔn)，引導(dǎo)AI虛擬角色推動(dòng)有效評(píng)估的進(jìn)行。執(zhí)行大語言模型會(huì)持續(xù)分析對(duì)話狀態(tài)，動(dòng)態(tài)引入特定挑戰(zhàn)——如對(duì)某一想法提出質(zhì)疑，或制造矛盾沖突——為學(xué)習(xí)者創(chuàng)造針對(duì)性地展示自身技能的機(jī)會(huì)。由此，它充當(dāng)了新一代自適應(yīng)評(píng)估引擎的角色，通過引導(dǎo)對(duì)話走向，確保在對(duì)話結(jié)束時(shí)收集到評(píng)估用戶所需的完整信息。

任務(wù)完成后，AI評(píng)估器會(huì)依據(jù)執(zhí)行大語言模型所使用的同一套嚴(yán)格評(píng)分標(biāo)準(zhǔn)，對(duì)對(duì)話記錄進(jìn)行分析，識(shí)別并衡量技能應(yīng)用的具體證據(jù)。學(xué)習(xí)者隨后將收到詳細(xì)的技能圖譜，其中包含可視化評(píng)分及針對(duì)其在對(duì)話中所展示技能的定性反饋，讓原本"看不見"的人類技能發(fā)展進(jìn)程變得可視化、可落地。

研究發(fā)現(xiàn)：AI評(píng)估達(dá)到專家水準(zhǔn)

為確保學(xué)術(shù)與教育嚴(yán)謹(jǐn)性，谷歌與紐約大學(xué)建立了研究合作關(guān)系。雙方共同梳理了常見評(píng)估標(biāo)準(zhǔn)，并將其與相關(guān)任務(wù)對(duì)齊，合作重點(diǎn)在于建立并驗(yàn)證評(píng)估方法。

雙方開展了一項(xiàng)聯(lián)合研究，招募了188名來自美國(guó)、年齡在18至25歲之間的測(cè)試者，完成涵蓋協(xié)作技能——即沖突解決與項(xiàng)目管理——的Vantage任務(wù)，并重點(diǎn)考察兩個(gè)核心研究問題。

Vantage的一項(xiàng)關(guān)鍵創(chuàng)新在于引入執(zhí)行大語言模型，實(shí)現(xiàn)自適應(yīng)評(píng)估。研究評(píng)估了大語言模型在引導(dǎo)對(duì)話時(shí)針對(duì)特定技能（如沖突解決或項(xiàng)目管理）的有效性，通過與使用獨(dú)立運(yùn)作、未受引導(dǎo)的AI虛擬角色完成相同任務(wù)的學(xué)習(xí)者進(jìn)行比較，衡量用戶所展示的與該技能相關(guān)信息的豐富程度。研究結(jié)果表明，執(zhí)行大語言模型確實(shí)能夠有效引導(dǎo)對(duì)話產(chǎn)生高密度信息，在保持自然對(duì)話流暢性的同時(shí)，顯著提升了被評(píng)估技能相關(guān)信息的數(shù)量。這一能力在多項(xiàng)模擬任務(wù)中表現(xiàn)一致。

為測(cè)試AI評(píng)估器的準(zhǔn)確性，研究團(tuán)隊(duì)將其評(píng)分與紐約大學(xué)評(píng)分者依據(jù)同一教學(xué)評(píng)分標(biāo)準(zhǔn)所給出的評(píng)分進(jìn)行了比較。結(jié)果顯示，AI評(píng)估器與人類專家之間的評(píng)分一致性，與兩位專家評(píng)分者之間的一致性相當(dāng)。這表明AI評(píng)估器的對(duì)話評(píng)分已達(dá)到人類專家評(píng)分者的水準(zhǔn)，證明Vantage是一套有效的技能評(píng)估自動(dòng)化系統(tǒng)。

谷歌還與專注于耐久性技能評(píng)估AI工具開發(fā)的初創(chuàng)公司OpenMic開展了聯(lián)合研究，聚焦創(chuàng)造力與英語語言藝術(shù)領(lǐng)域，在更廣泛的情境中驗(yàn)證AI評(píng)估器的表現(xiàn)。研究分析了180名學(xué)生在創(chuàng)意多媒體任務(wù)上的表現(xiàn)——包括人物專訪和與英語文學(xué)相關(guān)的媒體文章——并將AI評(píng)估器的評(píng)分與OpenMic內(nèi)部專家的評(píng)分進(jìn)行了比對(duì)。結(jié)果同樣顯示出AI評(píng)估器與人類專家之間的高度相關(guān)性，皮爾遜相關(guān)系數(shù)達(dá)到0.88，證明AI評(píng)估器即便面對(duì)復(fù)雜的現(xiàn)實(shí)創(chuàng)意任務(wù)，也能提供有效的評(píng)分。

對(duì)教育的深遠(yuǎn)影響

在學(xué)校場(chǎng)景中，這類模擬環(huán)境有望開辟出一個(gè)可量化的"技能層"，疊加于現(xiàn)有學(xué)校課程之上，并融入學(xué)科任務(wù)之中。這將幫助教育者探索全新的作業(yè)形式，例如與AI虛擬角色就社會(huì)科學(xué)話題展開辯論，或扮演團(tuán)隊(duì)負(fù)責(zé)人角色規(guī)劃實(shí)驗(yàn)室實(shí)驗(yàn)。學(xué)生不僅可以獲得關(guān)于學(xué)科知識(shí)（如實(shí)驗(yàn)的科學(xué)原理）的反饋，還能獲得技能層面（如協(xié)作質(zhì)量與批判性思維水平）的反饋。這一方式是對(duì)現(xiàn)有小組合作項(xiàng)目的補(bǔ)充，有望同步推動(dòng)學(xué)術(shù)知識(shí)與耐久性技能的共同發(fā)展。

展望未來

本研究探索了如何將至關(guān)重要的未來就緒耐久性技能，從難以衡量轉(zhuǎn)變?yōu)榭纱笠?guī)模量化。由此，一個(gè)更具包容性、更精準(zhǔn)的未來就緒能力評(píng)估體系將成為可能。這一實(shí)驗(yàn)是朝著更貼合未來需求的評(píng)估方式邁出的重要一步。

谷歌團(tuán)隊(duì)也希望新搭建的基礎(chǔ)設(shè)施能夠支持生態(tài)系統(tǒng)內(nèi)更廣泛的研究與有效性研究，使研究人員不僅能夠評(píng)估新工具對(duì)知識(shí)留存的影響，還能評(píng)估其對(duì)技能發(fā)展的直接影響。此類研究的潛力不可小覷，將有助于深入理解不同教學(xué)干預(yù)手段如何隨時(shí)間推移塑造人類能力。

展望未來，谷歌將拓展研究范圍，重點(diǎn)攻克遷移性這一關(guān)鍵問題——即在模擬沙盒中所展示的技能，如何轉(zhuǎn)化為真實(shí)人際互動(dòng)中的實(shí)際能力。此外，鑒于人類技能具有文化情境性，谷歌將著重探索不同文化背景下的表現(xiàn)差異，以確保技術(shù)的包容性與公平性。在評(píng)估之外，下一階段的目標(biāo)是向技能成長(zhǎng)邁進(jìn)，進(jìn)一步深化對(duì)技能發(fā)展的理解，并通過在模擬環(huán)境中的實(shí)踐來衡量技能提升的成效。

Q&A

Q1：Vantage是什么？它能評(píng)估哪些技能？

A：Vantage是谷歌與紐約大學(xué)聯(lián)合開發(fā)的一項(xiàng)研究實(shí)驗(yàn)項(xiàng)目，利用生成式AI在模擬環(huán)境中創(chuàng)建對(duì)話場(chǎng)景，評(píng)估學(xué)生的"未來就緒"技能。目前主要評(píng)估的技能包括沖突解決、項(xiàng)目管理、批判性思維、協(xié)作能力和創(chuàng)意思維等核心能力。Vantage英文版現(xiàn)已在Google Labs開放注冊(cè)。

Q2：Vantage的AI評(píng)估結(jié)果準(zhǔn)確嗎？和人類專家相比如何？

A：根據(jù)與紐約大學(xué)的聯(lián)合研究，Vantage的AI評(píng)估器與人類專家之間的評(píng)分一致性，與兩位專家評(píng)分者之間的一致性相當(dāng)。另在與OpenMic合作的創(chuàng)造力評(píng)估研究中，AI評(píng)估器與人類專家評(píng)分的皮爾遜相關(guān)系數(shù)高達(dá)0.88，說明AI評(píng)估精度已達(dá)到專家水準(zhǔn)。

Q3：Vantage在學(xué)校教學(xué)中怎么用？對(duì)學(xué)生有什么幫助？

A：在學(xué)校場(chǎng)景中，Vantage可作為一個(gè)"技能層"疊加于現(xiàn)有課程之上，教師可設(shè)計(jì)學(xué)生與AI虛擬角色辯論社會(huì)科學(xué)話題或規(guī)劃實(shí)驗(yàn)室實(shí)驗(yàn)等任務(wù)。學(xué)生不僅能獲得學(xué)科知識(shí)反饋，還能獲得協(xié)作、批判性思維等技能的可視化評(píng)分與定性反饋，幫助技能發(fā)展"看得見、用得上"。