哈嘍，大家好，今天小墨這篇評論，主要來分析做AI產(chǎn)品別盯著模型，數(shù)據(jù)源、提示詞、成本和評測才是關(guān)鍵。

這半年接觸下來，我發(fā)現(xiàn)一個挺有意思的現(xiàn)象。很多團(tuán)隊(duì)做AI產(chǎn)品，開口閉口都是"我們用的是最新的大模型""參數(shù)量有多少億"，可真正上線后用戶體驗(yàn)卻一般般。問題出在哪兒？不是模型不夠強(qiáng)，而是產(chǎn)品設(shè)計(jì)沒跟上。

作為應(yīng)用側(cè)的產(chǎn)品經(jīng)理，我在項(xiàng)目里踩過不少坑。后來慢慢琢磨出來，真正影響AI產(chǎn)品效果的，往往是那些看起來不起眼的細(xì)節(jié)。今天就從四個方面，聊聊我這段時間的實(shí)戰(zhàn)經(jīng)驗(yàn)。

剛開始做AI產(chǎn)品時，我也有個想法，覺得把所有相關(guān)數(shù)據(jù)都喂給模型，它肯定能給出更準(zhǔn)確的答案。結(jié)果發(fā)現(xiàn)完全不是這么回事。

數(shù)據(jù)太多反而會讓模型犯糊涂。從技術(shù)原理來說，大模型有個注意力窗口的限制，它需要在有限的"注意力"里找重點(diǎn)信息。你給它塞一堆不相關(guān)的東西，就像讓人在一個亂七八糟的房間里找鑰匙，效率肯定上不去。

12月初，央視財(cái)經(jīng)報道了一個案例。某電商平臺做智能客服，一開始把用戶所有歷史訂單、瀏覽記錄、收藏商品全都輸入給AI。

結(jié)果客服回答問題時經(jīng)常答非所問，用戶投訴率反而上升了。后來他們調(diào)整策略，只保留最近30天的核心數(shù)據(jù)，比如待處理訂單、最近咨詢記錄，客服準(zhǔn)確率一下子提高了20個百分點(diǎn)。

所以現(xiàn)在我做產(chǎn)品時，會先問自己幾個問題。這個任務(wù)真正需要哪些數(shù)據(jù)？哪些信息看起來有用，但實(shí)際對結(jié)果影響不大？能不能在產(chǎn)品層面，提前幫模型篩選一遍？應(yīng)用側(cè)產(chǎn)品的價值，很大程度上就是替模型減負(fù)。

提示詞這個事兒，是所有做AI產(chǎn)品的人都繞不開的。但我發(fā)現(xiàn)很多人容易走進(jìn)一個誤區(qū)，覺得提示詞寫得越詳細(xì)越好，生怕模型理解不到位。

剛開始我也這么干過，寫了一大段說明，把各種場景、要求、限制條件全列上。后來發(fā)現(xiàn)這樣反而容易出問題。模型有時候會被太多條件繞暈，抓不住重點(diǎn)。

現(xiàn)在我的做法是，先用一句話把任務(wù)說清楚，然后根據(jù)結(jié)果逐步調(diào)整。如果發(fā)現(xiàn)模型輸出有偏差，再針對性地加限制條件。這樣比一開始就寫一大堆要有效得多。

還有個技巧，就是利用模型的注意力機(jī)制。開頭和結(jié)尾的內(nèi)容，模型更容易關(guān)注到。所以我現(xiàn)在寫提示詞，開頭會清楚說明任務(wù)目標(biāo)，中間盡量精簡，結(jié)尾再強(qiáng)調(diào)一遍限制條件和輸出格式。這種結(jié)構(gòu)用下來，生成質(zhì)量比較穩(wěn)定。

11月底，新華社報道了一個政務(wù)服務(wù)的例子。某地方政府做了個AI政策解讀系統(tǒng)，最初提示詞寫了兩千多字，各種細(xì)節(jié)要求都有。結(jié)果系統(tǒng)回答問題時經(jīng)常超時，而且答案很啰嗦。

技術(shù)團(tuán)隊(duì)后來把提示詞精簡到三百字，只保留核心任務(wù)描述和輸出要求，響應(yīng)速度提升了3倍，用戶滿意度也明顯上升。

很多人覺得成本是運(yùn)營階段才考慮的事，產(chǎn)品設(shè)計(jì)時先把功能做全再說。但在AI產(chǎn)品這塊，成本問題必須在設(shè)計(jì)階段就考慮進(jìn)去。

產(chǎn)品層面能做的事其實(shí)不少。比如控制提示詞長度，砍掉那些沒用的描述。再比如壓縮輸入數(shù)據(jù)，只保留和任務(wù)強(qiáng)相關(guān)的信息。還有就是根據(jù)場景選擇合適的模型，不是所有任務(wù)都需要用最強(qiáng)最貴的模型。

這是我覺得最難但也最重要的一塊。很多AI產(chǎn)品的評測，不像傳統(tǒng)軟件那樣有明確的對錯標(biāo)準(zhǔn)。

我現(xiàn)在的做法是看關(guān)鍵要點(diǎn)命中率。先把業(yè)務(wù)期望的關(guān)鍵要點(diǎn)列出來，然后看模型輸出是否覆蓋這些要點(diǎn)，按照命中數(shù)量打分。但這個方法也有難度，要點(diǎn)本身就沒有絕對標(biāo)準(zhǔn)，需要對業(yè)務(wù)和市場有深入理解，而且要隨著業(yè)務(wù)變化不斷調(diào)整。

這個過程說白了，就是把產(chǎn)品思維融入到評測環(huán)節(jié)。不能只看技術(shù)指標(biāo)，要看業(yè)務(wù)效果。

做應(yīng)用側(cè)AI產(chǎn)品，模型只是工具，真正決定成敗的還是產(chǎn)品設(shè)計(jì)本身。數(shù)據(jù)篩選、提示詞優(yōu)化、成本控制、評測體系，這些看起來不起眼的細(xì)節(jié)，往往比選哪個大模型更重要。希望這些經(jīng)驗(yàn)?zāi)芙o做AI產(chǎn)品的朋友們一些參考。