作 者 | 中國銀聯(lián)技術(shù)部 徐靜雯、馮奇、馬鵬飛、方宇倫、金佳駿

來 源 | BanTech智庫

生成式大模型的發(fā)展給AI技術(shù)帶來了又一次的飛躍，但我們認為它更是為數(shù)據(jù)的使用帶來了飛躍。雖然數(shù)字化，大數(shù)據(jù)分析這幾年也一直在蓬勃發(fā)展，但是都是各領(lǐng)域各單位獨立發(fā)展，基本都是局部優(yōu)化應用，沒有一個能涉及所有領(lǐng)域的現(xiàn)象級應用的爆發(fā)。

同時，傳統(tǒng)大數(shù)據(jù)分析領(lǐng)域更偏重結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)應用也不太突出，但是生成式AI技術(shù)改變了這一切，帶來了諸多爆點應用，也帶來了一個有趣的現(xiàn)象，之前大家普遍認為AI是用來代替體力勞動的，腦力勞動由于包含創(chuàng)造性很難被代替，但生成式AI出現(xiàn)以后，大家發(fā)現(xiàn)反而是越來越多的腦力勞動能被代替，這就是因為人類留下了大量的腦力活動產(chǎn)物——知識，AI通過學習這些知識而具有了一定的創(chuàng)造力，這和人類的學習過程相當，人類也是學習前人積累的知識而具有了創(chuàng)造性。只是人類通過文字學習知識，而AI通過由知識轉(zhuǎn)化的數(shù)據(jù)來進行學習。

數(shù)據(jù)越來越重要。

一、問題的提出

正因為AI由數(shù)據(jù)觸發(fā)，基本上所有的數(shù)據(jù)密集型工作均應嘗試由AI來改進工作效果，提升工作效率。

IT資源管理，特別是其中的人力資源管理就是數(shù)據(jù)密集型領(lǐng)域?，F(xiàn)代工作基本以項目為維度，而伴隨PMP（項目管理認證）工作方式的普及，項目數(shù)據(jù)異常豐富。在研發(fā)過程中，研發(fā)人力一定是緊俏資源，為更好地做好IT人力資源管理，我們選擇用AI技術(shù)來協(xié)助更準確高效地識別研發(fā)需求需要多少人力資源，和基于歷史數(shù)據(jù)的發(fā)展趨勢更合理規(guī)劃人力資源的分配方案，并通過資源歸集來校驗人力資源分配的合理性。

二、實施方式

1

生命周期劃分

IT人力資源的管理是貫穿于整個研發(fā)過程中的，不同階段有不同訴求，采用的技術(shù)方式也會有所不同。

經(jīng)過歸納總結(jié)，我們聚焦在三個階段，一是開始的工作量預估階段，通過對需求書的識讀按照國家標準進行功能點提取和工作量預估。二是資源分配階段，通過分析歷史數(shù)據(jù)，按照任務(wù)情況分類后，去構(gòu)建擬合曲線，找到擬合度最高的曲線，并將上一階段計算的總工作量代入后，計算出下一個擬合節(jié)點需要的人力資源，形成分配方案。三是最后的資源歸集階段，將真實使用的總數(shù)據(jù)按不同任務(wù)類型分解，與之前預估的分配方案進行對比，用于后續(xù)的修正。

2

問題識讀與技術(shù)選擇

要實現(xiàn)上述每個階段的目標，首先得讓AI能明白這個目標的含義，為此，我們要將這些目標翻譯成數(shù)據(jù)，讓AI理解。AI技術(shù)其實非常多樣，并不應局限在生成式AI層面。我們認為，只要是能協(xié)助人類完成一定工作的技術(shù)都可以認為是AI技術(shù)。

為此，為每個階段，我們都選擇了不同的技術(shù)，工作量預估階段由于要閱讀分析需求書這樣的非結(jié)構(gòu)化數(shù)據(jù)，我們構(gòu)建智能體來調(diào)用生成式大模型；資源分配階段主要在于分析歷史任務(wù)數(shù)據(jù)這樣的結(jié)構(gòu)化數(shù)據(jù)，我們自己設(shè)計領(lǐng)域?qū)Ｓ眯∧Ｐ蛠磉M行擬合與預估；資源歸集階段主要在于將歸集原則提煉為專家知識，并根據(jù)專家知識自動化進行數(shù)據(jù)讀取、分類與匯總，我們自己開發(fā)了一個自動化工具。

3

數(shù)據(jù)準備

這是最關(guān)鍵的環(huán)節(jié)，正如本文開始的分析，數(shù)據(jù)是AI的源泉，數(shù)據(jù)的準備也就是訓練的過程。

（1）工作量預估階段的數(shù)據(jù)準備

我們首先構(gòu)建了一個知識庫，把經(jīng)過分段與向量化后的國際標準、標準解讀、術(shù)語定義等各項文本資料作為大模型的非結(jié)構(gòu)化RAG知識庫，另外也把之前歷史需求中人工歸納分析的一千多個功能點屬性、分類、所屬系統(tǒng)等構(gòu)建了一個結(jié)構(gòu)化數(shù)據(jù)表格形成大模型的結(jié)構(gòu)化數(shù)據(jù)庫，結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)共同形成了一個小型知識庫。然后再構(gòu)建了一個智能體，通過智能體增強檢索能力去學習這個知識庫，形成自己的理解，再去分析投喂給它的需求書。

（2）資源分配階段的數(shù)據(jù)準備

針對該階段，我們又分了如下幾步的數(shù)據(jù)處理：

一是確定參數(shù)。歷史數(shù)據(jù)的維度比較多，包括任務(wù)屬性，規(guī)模，任務(wù)起止時間，任務(wù)中每個需求提出時間，與每個需求的人力投入。根據(jù)預估目標，我們選擇時間為X軸，累積人力投入為Y軸，并進行X軸與Y軸的歸一化處理后，形成單個任務(wù)的歷史投入的趨勢曲線，其他任務(wù)屬性、規(guī)模、任務(wù)提出部門等為不同維度參數(shù)，目的是尋找一條能與歷史數(shù)據(jù)中各任務(wù)趨勢實現(xiàn)最佳擬合的曲線。

二是數(shù)據(jù)清理。任務(wù)都是按項目來管理，但是實際情況下項目情況比較復雜，會出現(xiàn)緊急、突發(fā)、提前開始或延期等各種情況，這些都會對整體趨勢造成偏差，屬于應剔除的噪聲。結(jié)合實際情況，我們整理了六條數(shù)據(jù)清洗原則，對數(shù)據(jù)進行了有效整理。

三是抽樣選擇。為測試模型的訓練效果，我們預留了20%的樣本數(shù)據(jù)作為測試集數(shù)據(jù)使用，如何抽樣20%的數(shù)據(jù)也是要考慮的問題。開始對全部樣本采用隨機抽樣，由于有些任務(wù)需求多，數(shù)據(jù)會多一些，被抽中的概率就比較大，這樣測試時會更偏向這些有更多需求的任務(wù)趨勢曲線，且需求出現(xiàn)時間的隨機性造成了時間信息泄露，使得模型評估結(jié)果失真。然后我們嘗試了另一種分層的抽樣方式，確保每個任務(wù)尾部20%的數(shù)據(jù)被選擇，但是這樣依然有問題。

因為尾部20%的數(shù)據(jù)集中到任務(wù)臨近完成時的數(shù)據(jù)，而每個任務(wù)完成時數(shù)據(jù)變化會比較劇烈，一般是快速收尾，所以相較于前80%的平緩趨勢會突然變得陡峭，對整體趨勢預測會帶來比較大的干擾。權(quán)衡后，我們采用了在任務(wù)層面全隨機抽樣方式，避免了上述問題。

（3）資源歸集階段的數(shù)據(jù)準備

相對來說，該階段的數(shù)據(jù)準備相對簡單一些，重點在于將歸集原則轉(zhuǎn)換為標準化的專家知識。之前，這些原則都在具體工作人員的記錄中，或者通過excel寫成了公式，但均不是可以理解的知識，知識應該標準化并可理解、可復用。

三、實施結(jié)果與思考

在工作量預估方面，由于我們的需求書是很專業(yè)的內(nèi)容，大模型按照常規(guī)切片劃分，并不能精準理解，經(jīng)過不斷調(diào)優(yōu)后，對于功能點不太多的需求，其識別準確度與人工類似，一旦功能點增多，識別效果顯著降低。

另外，考慮到AI提示策略、記憶機制等方面的設(shè)置差異，對同一個功能點，當上下文有兩次不同的表述時，會被識別兩次；對于系統(tǒng)內(nèi)部已有或已實現(xiàn)的功能點，在大模型并不知情的情況下，也會再次識別，說明提示詞工程很重要，需要把關(guān)鍵術(shù)語及關(guān)聯(lián)關(guān)系提示清楚，以增強大模型的上下文處理能力。同時，也說明，需求書的標準化也很重要，需求書需與提示詞配套，才能增加大模型的理解能力。

在資源分配階段，我們選擇了回歸問題時常用的模型進行多輪測算，這些模型包括多元線性模型、決策樹模型、K近鄰模型、支持向量機模型、隨機森林模型和Light GBM模型共六個模型，這些模型在不同任務(wù)屬性下表現(xiàn)效果各異。整體看下來，當任務(wù)需求提出的時間分布比較均衡，需求顆粒度大小比較一致的情況下，擬合度較好，最好時可達78.48%。但是如果任務(wù)需求的分布不太均衡時，擬合度就不太理想。這提示我們，模型效果和歷史數(shù)據(jù)的有效性密切相關(guān)。

在資源歸集階段，專家知識整理好后，AI只是自動化的數(shù)據(jù)處理，這是AI強項，因此效果非常好，從原來單純?nèi)斯ぬ幚淼膸资r級別壓縮到了分鐘級，極大提升了工作效率，節(jié)約了人力成本。人員可以釋放出來做更具創(chuàng)造性的工作，比如不斷打磨專家知識。

從上述的實施效果分析，我們做了進一步思考，歸納出如下在AI應用中的幾點建議：

一是工作任務(wù)的有效拆解，由于AI目前強大的還是其計算與記憶能力，而并不是創(chuàng)造能力，因此工作過程要細分，比如按生命周期拆分，這樣可以更準確地給AI提出問題，另外問題也要盡量簡單，便于其理解和訓練。特別在專業(yè)領(lǐng)域中，需要構(gòu)建更加標準化的提示詞，并需將資料文檔和提示詞有機結(jié)合起來，才能讓AI逐步理解這些專業(yè)知識而發(fā)揮作用。

二是數(shù)據(jù)整理是最關(guān)鍵的一環(huán)，臟數(shù)據(jù)對AI效果的破壞性極強。在我們的資源分配階段，由于任務(wù)中需求的規(guī)模、時間周期變化都比較大，致使整體的擬合效果并不理想，這也說明歸根結(jié)底AI應用是和管理與治理密切相關(guān)的。對于新增內(nèi)容我們要做好更精細化的管理，從源頭就做好數(shù)據(jù)的標準化，保障數(shù)據(jù)的有效性；對于存量內(nèi)容要做好治理，提升數(shù)據(jù)的標準性與有效性。