AI智能體需要技能——特定的程序性知識(shí)——才能良好地執(zhí)行任務(wù)，但它們無(wú)法自我學(xué)習(xí)，一項(xiàng)新研究表明。

研究作者開(kāi)發(fā)了一個(gè)新的基準(zhǔn)測(cè)試工具SkillsBench，該工具在11個(gè)領(lǐng)域的84項(xiàng)任務(wù)上評(píng)估智能體AI的表現(xiàn)，包括醫(yī)療保健、制造業(yè)、網(wǎng)絡(luò)安全和軟件工程等領(lǐng)域。研究人員在三種條件下觀察每項(xiàng)任務(wù)：無(wú)技能（智能體僅接收指令）、有策劃技能（提供目錄、代碼片段和資源來(lái)幫助它）以及自生成技能（智能體沒(méi)有技能但被提示開(kāi)發(fā)它們）。

典型任務(wù)包括對(duì)npm依賴項(xiàng)進(jìn)行安全審計(jì)以查找漏洞，或分析癌細(xì)胞系數(shù)據(jù)中的差異蛋白質(zhì)表達(dá)。

最佳表現(xiàn)來(lái)自具有策劃技能的智能體，其得分平均比無(wú)技能智能體高16.2個(gè)百分點(diǎn)，這表明AI目前還無(wú)法擺脫人類干預(yù)。即便如此，在84項(xiàng)任務(wù)中的16項(xiàng)任務(wù)里，人類指導(dǎo)對(duì)結(jié)果產(chǎn)生了負(fù)面影響。

不同行業(yè)領(lǐng)域的表現(xiàn)差異很大，策劃技能在醫(yī)療保健任務(wù)中影響最大，但在軟件工程方面影響很小。

被要求生成自己技能的智能體表現(xiàn)沒(méi)有提升，顯示AI仍然需要一些人類提示才能完成工作。

Q&A

Q1：SkillsBench是什么？它能做什么？

A：SkillsBench是研究人員開(kāi)發(fā)的新基準(zhǔn)測(cè)試工具，用于評(píng)估智能體AI在84項(xiàng)任務(wù)上的表現(xiàn)，涵蓋醫(yī)療保健、制造業(yè)、網(wǎng)絡(luò)安全和軟件工程等11個(gè)領(lǐng)域。

Q2：AI智能體在哪種條件下表現(xiàn)最好？

A：具有策劃技能的智能體表現(xiàn)最佳，其得分平均比無(wú)技能智能體高16.2個(gè)百分點(diǎn)，這表明人類提供的技能指導(dǎo)對(duì)AI表現(xiàn)至關(guān)重要。

Q3：AI智能體能否自己學(xué)會(huì)新技能？

A：研究顯示不能。被要求生成自己技能的智能體表現(xiàn)沒(méi)有任何提升，證明AI仍然需要人類的提示和指導(dǎo)才能有效完成工作。