国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

當(dāng)AI助手的記憶開(kāi)始"遺忘時(shí)間"

0
分享至


這項(xiàng)由愛(ài)丁堡大學(xué)與圣安德魯斯大學(xué)聯(lián)合騰訊LIGHTSPEED團(tuán)隊(duì)完成的研究,以預(yù)印本形式發(fā)布于2026年4月(arXiv編號(hào):2604.11544),有興趣深入了解的讀者可通過(guò)該編號(hào)查詢完整論文。

假設(shè)你有一個(gè)記性極好的助手,他把所有事情都記得一清二楚——奧巴馬是美國(guó)總統(tǒng),特朗普是美國(guó)總統(tǒng),拜登是美國(guó)總統(tǒng)。你問(wèn)他"誰(shuí)是現(xiàn)任美國(guó)總統(tǒng)",他卻把三個(gè)答案一股腦兒全報(bào)給你,然后一臉茫然地說(shuō)"這三條都在我的記錄里"。這個(gè)荒誕的場(chǎng)景,正是當(dāng)今大多數(shù)AI記憶系統(tǒng)面臨的真實(shí)困境。研究者們把它稱為"靜態(tài)與動(dòng)態(tài)的兩難困境":同樣的記憶系統(tǒng),既要記住"奧巴馬出生在夏威夷"這種永恒不變的事實(shí),又要正確處理"誰(shuí)是總統(tǒng)"這種隨時(shí)間變化的信息——而現(xiàn)有系統(tǒng)對(duì)這兩類信息一視同仁,結(jié)果兩頭都沒(méi)做好。

為了徹底解決這個(gè)問(wèn)題,研究團(tuán)隊(duì)創(chuàng)造了一套名為ROMEM的全新系統(tǒng),其核心思路頗為巧妙:與其費(fèi)盡心機(jī)地刪除舊信息或者每次都叫來(lái)一個(gè)AI大模型來(lái)判斷"這條信息過(guò)時(shí)了沒(méi)有",不如借鑒物理學(xué)中的旋轉(zhuǎn)原理,讓時(shí)間本身變成一種幾何上的力量——過(guò)時(shí)的事實(shí)會(huì)在數(shù)學(xué)空間里自然"轉(zhuǎn)暈",而真實(shí)有效的事實(shí)則穩(wěn)穩(wěn)地"對(duì)準(zhǔn)"查詢方向。這套系統(tǒng)在多個(gè)基準(zhǔn)測(cè)試上取得了當(dāng)前最優(yōu)成績(jī),在處理時(shí)間相關(guān)問(wèn)題時(shí)的準(zhǔn)確率比現(xiàn)有最好方法提升了兩到三倍。

一、那個(gè)"把三位總統(tǒng)都當(dāng)作現(xiàn)任總統(tǒng)"的經(jīng)典難題

為了理解這個(gè)問(wèn)題的根源,不妨把AI的記憶系統(tǒng)比作一個(gè)巨大的檔案館?,F(xiàn)有的大多數(shù)系統(tǒng)會(huì)給每條信息貼上一個(gè)"日期標(biāo)簽",然后按時(shí)間先后排列。你想知道誰(shuí)是現(xiàn)任總統(tǒng),系統(tǒng)就找出最新的那條記錄——這聽(tīng)起來(lái)很合理,對(duì)吧?

然而麻煩接踵而至。檔案館里同時(shí)存著"奧巴馬出生于夏威夷"這條從未改變過(guò)的事實(shí),以及"拜登是美國(guó)總統(tǒng)"這條最新信息。如果系統(tǒng)一律按時(shí)間新舊排序,那么"奧巴馬出生于夏威夷"這條幾十年前的舊檔案就會(huì)被壓在一堆無(wú)關(guān)緊要的新信息下面,難以被檢索到——明明這是條永遠(yuǎn)有效的事實(shí),卻因?yàn)?年代久遠(yuǎn)"而遭到埋沒(méi)。這就是所謂的靜態(tài)與動(dòng)態(tài)兩難困境的第一個(gè)癥狀:一旦啟用按時(shí)間排序,永久性知識(shí)就會(huì)被壓制。

反過(guò)來(lái),如果不按時(shí)間排序,那么三位總統(tǒng)的信息就會(huì)同時(shí)出現(xiàn),讓下游的AI大模型徹底困惑。斯坦福大學(xué)的研究者曾發(fā)現(xiàn),當(dāng)AI面對(duì)這種"真假混雜"的上下文時(shí),它往往會(huì)給出錯(cuò)誤或自相矛盾的答案——這一現(xiàn)象在學(xué)界被稱為"迷失在中間",意思是有用的信息被無(wú)關(guān)內(nèi)容淹沒(méi),模型不知道該聽(tīng)哪個(gè)。

現(xiàn)有系統(tǒng)應(yīng)對(duì)這個(gè)困境的方式大致分為三種,而每一種都有明顯缺陷。第一種是"破壞性覆寫(xiě)"——直接把舊信息刪掉,換上新信息。問(wèn)題在于,歷史記錄就此永久消失,你再也無(wú)法問(wèn)"2009年的總統(tǒng)是誰(shuí)"了。第二種是"AI仲裁"——每次存入新信息時(shí),都調(diào)用一次AI大模型來(lái)判斷"這條新信息是否意味著某條舊信息需要被更新或刪除"。這個(gè)方法邏輯上說(shuō)得通,但代價(jià)極高:如果你的記憶系統(tǒng)里存著幾百萬(wàn)條事實(shí),每存入一條新信息就要調(diào)用一次大模型,光是這個(gè)判斷過(guò)程就會(huì)消耗巨大的計(jì)算資源和時(shí)間。第三種是"按時(shí)間排序"——也就是前面說(shuō)的那種方法,會(huì)把舊而永久的事實(shí)埋沒(méi)。

ROMEM的設(shè)計(jì)者們認(rèn)為,這三種方案都是在用錯(cuò)誤的思路解決問(wèn)題。根本癥結(jié)在于:這些系統(tǒng)把時(shí)間當(dāng)作一個(gè)"標(biāo)簽"來(lái)處理,而時(shí)間本質(zhì)上應(yīng)該是一種"物理力量"。

二、時(shí)鐘指針與幾何旋轉(zhuǎn):用物理直覺(jué)解決記憶難題

研究團(tuán)隊(duì)從認(rèn)知神經(jīng)科學(xué)中找到了靈感??茖W(xué)家們發(fā)現(xiàn),哺乳動(dòng)物的海馬體(大腦中負(fù)責(zé)記憶的核心區(qū)域)并不是用離散的時(shí)間戳來(lái)記錄事件的,而是用連續(xù)的幾何軌跡來(lái)編碼時(shí)間信息——就好像大腦里有一套內(nèi)置的"時(shí)鐘機(jī)制",時(shí)間的流逝對(duì)應(yīng)著神經(jīng)活動(dòng)在空間中的連續(xù)運(yùn)動(dòng)。

ROMEM將這個(gè)生物學(xué)發(fā)現(xiàn)轉(zhuǎn)化成了數(shù)學(xué)語(yǔ)言。每一個(gè)知識(shí)點(diǎn),比如"(美國(guó), 總統(tǒng), 奧巴馬)",都被表示為一個(gè)復(fù)數(shù)向量空間中的向量——你可以把它理解為一根有方向和長(zhǎng)度的箭頭。時(shí)間的流逝則對(duì)應(yīng)著這根箭頭在空間中的旋轉(zhuǎn),就像時(shí)鐘的指針隨著時(shí)間流轉(zhuǎn)而不斷轉(zhuǎn)動(dòng)。

具體來(lái)說(shuō),當(dāng)你在2009年存入"奧巴馬是美國(guó)總統(tǒng)"這條信息時(shí),代表這個(gè)事實(shí)的"箭頭"就被固定在一個(gè)特定的角度上——比如指向十二點(diǎn)方向。隨著時(shí)間推移到2025年,如果你詢問(wèn)"現(xiàn)任美國(guó)總統(tǒng)是誰(shuí)",系統(tǒng)會(huì)用2025年對(duì)應(yīng)的旋轉(zhuǎn)角度去"照射"所有相關(guān)的知識(shí)箭頭。此時(shí),"奧巴馬是總統(tǒng)"這個(gè)箭頭已經(jīng)因?yàn)闀r(shí)間流逝而轉(zhuǎn)到了三點(diǎn)鐘方向,與查詢方向不對(duì)齊,得分自然下降。而"特朗普是總統(tǒng)"的信息對(duì)應(yīng)2025年的角度,與查詢方向高度吻合,得分就高。這個(gè)過(guò)程不需要?jiǎng)h除任何信息——兩條信息都還在檔案館里好好的——只不過(guò)舊信息因?yàn)?轉(zhuǎn)偏了"而自然排名靠后,新信息因?yàn)?對(duì)準(zhǔn)了"而自然排名靠前。研究者把這個(gè)效應(yīng)叫做"幾何遮蔽":過(guò)時(shí)的事實(shí)被旋轉(zhuǎn)到了錯(cuò)誤的角度,被正確的事實(shí)在幾何上自然壓制。

更精妙的是,這個(gè)旋轉(zhuǎn)機(jī)制可以進(jìn)行歷史查詢。如果你明確問(wèn)"2009年的美國(guó)總統(tǒng)是誰(shuí)",系統(tǒng)就用2009年對(duì)應(yīng)的旋轉(zhuǎn)角度來(lái)檢索,這時(shí)"奧巴馬是總統(tǒng)"的箭頭又重新指向了正確方向,而"特朗普是總統(tǒng)"的信息則被轉(zhuǎn)偏了。整個(gè)檔案館從未刪除任何內(nèi)容,卻能根據(jù)查詢的時(shí)間點(diǎn)動(dòng)態(tài)地"展現(xiàn)"出不同歷史階段的世界狀態(tài),就像一臺(tái)時(shí)光機(jī)。

相比于此前的同類方法,這個(gè)設(shè)計(jì)還解決了兩個(gè)技術(shù)上的老大難。其一,過(guò)去的一些方法將時(shí)間視為疊加在向量上的一個(gè)數(shù)值偏差(就像在箭頭的長(zhǎng)度上加減一個(gè)數(shù)字),這種"加法模型"有個(gè)致命缺陷:如果一個(gè)實(shí)體本身就非常"受歡迎"(在知識(shí)圖譜中和很多其他實(shí)體都有關(guān)聯(lián)),它的箭頭天生就長(zhǎng),時(shí)間帶來(lái)的懲罰對(duì)它影響不大,結(jié)果一些"過(guò)時(shí)但流行"的事實(shí)仍然能排名靠前。ROMEM使用的乘法旋轉(zhuǎn)則不同:不管一個(gè)實(shí)體多么"受歡迎",只要它的箭頭轉(zhuǎn)偏了,得分就一定會(huì)下降,沒(méi)有例外。其二,過(guò)去的旋轉(zhuǎn)類方法(如ChronoR、TeRo等)需要為每一個(gè)具體的時(shí)間點(diǎn)單獨(dú)學(xué)習(xí)一個(gè)向量表示,就好像為1月1日、1月2日、1月3日……各自準(zhǔn)備一頁(yè)手冊(cè)。一旦遇到手冊(cè)里沒(méi)有收錄的日期(比如某個(gè)具體的時(shí)刻),系統(tǒng)就完全不知道怎么處理。ROMEM則把時(shí)間定義為一個(gè)連續(xù)的數(shù)學(xué)函數(shù),就像一個(gè)能處理任意角度的指南針,而不是只能處理整點(diǎn)刻度的鬧鐘——任何日期都能無(wú)縫處理,包括從未在訓(xùn)練數(shù)據(jù)中出現(xiàn)過(guò)的日期。

三、"語(yǔ)義速度閥":讓系統(tǒng)自己學(xué)會(huì)哪些知識(shí)會(huì)變、哪些永恒不變

幾何旋轉(zhuǎn)解決了"時(shí)間沖突"的問(wèn)題,但還有一個(gè)同樣重要的問(wèn)題沒(méi)有解決:并非所有信息都應(yīng)該以同樣的速度旋轉(zhuǎn)。"某人是總統(tǒng)"這類信息隨著選舉而快速變化,而"某人出生于某地"則是永久不變的事實(shí)。如果系統(tǒng)對(duì)兩類信息施加同樣的旋轉(zhuǎn)速度,那么"奧巴馬出生于夏威夷"這個(gè)永恒事實(shí)也會(huì)隨著時(shí)間旋轉(zhuǎn)偏移,最終難以被檢索到——這正是我們最想避免的問(wèn)題。

為此,研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)叫做"語(yǔ)義速度閥"(Semantic Speed Gate)的組件。這個(gè)組件的工作原理可以這樣理解:給每一種"關(guān)系類型"配備一個(gè)旋轉(zhuǎn)速度開(kāi)關(guān),數(shù)值在0到1之間。數(shù)值接近1,意味著這類關(guān)系變化很快,對(duì)應(yīng)的知識(shí)會(huì)旋轉(zhuǎn)得很猛;數(shù)值接近0,意味著這類關(guān)系幾乎永恒不變,對(duì)應(yīng)的知識(shí)幾乎不旋轉(zhuǎn)。

神奇之處在于,這個(gè)速度開(kāi)關(guān)的數(shù)值不是人工設(shè)定的,而是系統(tǒng)通過(guò)閱讀關(guān)系名稱的文字表述自動(dòng)學(xué)習(xí)出來(lái)的。研究團(tuán)隊(duì)讓速度閥組件分析大量歷史數(shù)據(jù),從中學(xué)習(xí)"哪類關(guān)系在現(xiàn)實(shí)中經(jīng)常發(fā)生變化"。學(xué)習(xí)完成后,當(dāng)系統(tǒng)遇到"president of(擔(dān)任……的總統(tǒng))"這樣的詞語(yǔ)時(shí),它通過(guò)理解這段文字的語(yǔ)義含義,自動(dòng)判斷這是一種變化頻繁的關(guān)系,于是賦予它接近1的速度值;而遇到"born in(出生于)"時(shí),系統(tǒng)理解這是一種極少改變的關(guān)系,于是賦予它接近0的速度值。

這個(gè)設(shè)計(jì)帶來(lái)了一個(gè)極為實(shí)用的特性:零樣本泛化。假設(shè)訓(xùn)練數(shù)據(jù)里出現(xiàn)了"married to(嫁給/娶了)"這個(gè)關(guān)系,系統(tǒng)學(xué)會(huì)了它相對(duì)穩(wěn)定的性質(zhì)(速度值低)。當(dāng)系統(tǒng)在實(shí)際使用中遇到從未見(jiàn)過(guò)的關(guān)系"wedded to(與……結(jié)婚)"時(shí),由于這兩個(gè)短語(yǔ)在語(yǔ)義上非常相近,系統(tǒng)能夠自動(dòng)推斷出"wedded to"也應(yīng)該有較低的旋轉(zhuǎn)速度,無(wú)需任何額外訓(xùn)練。同樣,即使系統(tǒng)從未接觸過(guò)金融領(lǐng)域的專業(yè)術(shù)語(yǔ),它也能通過(guò)語(yǔ)義推斷出"has quarterly revenue(具有季度營(yíng)收)"與"held office(擔(dān)任職務(wù))"在語(yǔ)義上的相似性,從而正確地將前者判定為高波動(dòng)性關(guān)系。

從實(shí)驗(yàn)結(jié)果來(lái)看,速度閥的判斷相當(dāng)準(zhǔn)確。在已見(jiàn)過(guò)的政治事件類關(guān)系中,"Consult(磋商)"獲得了0.87的高速度值,"Host a visit(接待訪問(wèn))"獲得了0.86,而"Cooperate militarily(軍事合作)"和"Cooperate economically(經(jīng)濟(jì)合作)"則分別獲得了0.09和0.16的低速度值——因?yàn)閲?guó)家間的軍事和經(jīng)濟(jì)合作關(guān)系通常比較穩(wěn)定。在從未見(jiàn)過(guò)的關(guān)系中,"met with(會(huì)見(jiàn))"被正確賦予了0.71的高速度值,"visited(訪問(wèn))"為0.64,而"citizen of(是……公民)"和"species(是……物種)"則被正確賦予了0.17和0.22的低速度值。

速度閥對(duì)永久性知識(shí)的保護(hù)效果,在"DMR-MSC"這個(gè)專門測(cè)試靜態(tài)記憶的基準(zhǔn)中得到了驗(yàn)證——該測(cè)試中ROMEM的表現(xiàn)與不加任何時(shí)間處理的基礎(chǔ)系統(tǒng)基本持平,說(shuō)明時(shí)間旋轉(zhuǎn)機(jī)制確實(shí)沒(méi)有"誤傷"那些不應(yīng)該旋轉(zhuǎn)的永久性事實(shí)。

四、分兩步走的學(xué)習(xí)策略:先學(xué)"哪些變化快",再學(xué)"變化的節(jié)奏"

將速度閥和旋轉(zhuǎn)機(jī)制合并在一起訓(xùn)練,會(huì)產(chǎn)生一個(gè)微妙的問(wèn)題:如果同時(shí)學(xué)習(xí)"哪些關(guān)系變化快"和"時(shí)間旋轉(zhuǎn)的具體節(jié)奏",這兩件事會(huì)相互干擾,導(dǎo)致學(xué)習(xí)失敗。具體來(lái)說(shuō),對(duì)時(shí)間旋轉(zhuǎn)的訓(xùn)練需要把不同時(shí)間點(diǎn)的信息作為"負(fù)樣本",告訴系統(tǒng)"這個(gè)時(shí)間點(diǎn)是錯(cuò)的"——但這對(duì)于永恒不變的關(guān)系來(lái)說(shuō)是不公平的,因?yàn)閷?duì)于"出生于"這類關(guān)系,任何時(shí)間點(diǎn)都是"正確的",強(qiáng)行把其他時(shí)間點(diǎn)當(dāng)負(fù)樣本會(huì)誤導(dǎo)系統(tǒng)認(rèn)為這類關(guān)系也需要快速旋轉(zhuǎn)。

研究團(tuán)隊(duì)因此采用了一個(gè)巧妙的兩階段訓(xùn)練方案。第一階段在正式訓(xùn)練開(kāi)始之前單獨(dú)完成:專門訓(xùn)練速度閥,只讓它學(xué)習(xí)"哪些關(guān)系變化得快、哪些變化得慢"。訓(xùn)練數(shù)據(jù)來(lái)自ICEWS05-15數(shù)據(jù)集(一個(gè)包含2005年到2015年全球政治事件的大型數(shù)據(jù)庫(kù)),訓(xùn)練方法是觀察歷史上同一個(gè)"主語(yǔ)+關(guān)系"組合下,賓語(yǔ)(也就是對(duì)象)有沒(méi)有隨時(shí)間改變。比如,"(美國(guó), 總統(tǒng))"這個(gè)組合下,賓語(yǔ)換過(guò)好幾次(從克林頓到小布什到奧巴馬),那么"總統(tǒng)"這個(gè)關(guān)系就被標(biāo)記為高波動(dòng)性;而"(奧巴馬, 出生于)"下面的賓語(yǔ)從未改變,那么"出生于"就被標(biāo)記為低波動(dòng)性。速度閥通過(guò)大量這樣的樣本學(xué)習(xí)之后,就能理解不同關(guān)系的內(nèi)在時(shí)間特性。這個(gè)階段訓(xùn)練完成后,速度閥的參數(shù)就被固定下來(lái),不再參與第二階段的調(diào)整。

第二階段才是主體訓(xùn)練:在速度閥參數(shù)凍結(jié)的前提下,學(xué)習(xí)知識(shí)點(diǎn)在向量空間中的具體位置(也就是"時(shí)間旋轉(zhuǎn)的節(jié)奏")。這個(gè)階段的損失函數(shù)包含三個(gè)部分:一是結(jié)構(gòu)性損失,確保知識(shí)圖譜中的關(guān)系結(jié)構(gòu)被正確表達(dá);二是時(shí)間對(duì)比損失,通過(guò)比較"正確時(shí)間點(diǎn)"和"錯(cuò)誤時(shí)間點(diǎn)"來(lái)訓(xùn)練系統(tǒng)的時(shí)間判斷能力;三是正則化損失,防止系統(tǒng)過(guò)度擬合訓(xùn)練數(shù)據(jù)。時(shí)間對(duì)比損失使用了一個(gè)"軟性高斯目標(biāo)",即系統(tǒng)不必死記正確時(shí)間的精確值,只需要知道"越接近正確時(shí)間越好",這大大提高了系統(tǒng)對(duì)未見(jiàn)時(shí)間點(diǎn)的泛化能力。

這種兩階段策略的成效在消融實(shí)驗(yàn)中得到了驗(yàn)證:如果將兩個(gè)階段合并為一步同時(shí)訓(xùn)練,系統(tǒng)要么出現(xiàn)"速度閥崩潰"(所有關(guān)系都被賦予相近的速度值,失去區(qū)分能力),要么出現(xiàn)永久性關(guān)系被錯(cuò)誤地賦予高速度值的情況,導(dǎo)致靜態(tài)知識(shí)隨時(shí)間旋轉(zhuǎn)而逐漸無(wú)法被檢索。

五、在四個(gè)不同的考場(chǎng)上驗(yàn)證實(shí)力

研究團(tuán)隊(duì)用四個(gè)完全不同的測(cè)試場(chǎng)景來(lái)驗(yàn)證ROMEM的實(shí)際效果,分別對(duì)應(yīng)四個(gè)層次的挑戰(zhàn)。

第一個(gè)測(cè)試是時(shí)序知識(shí)圖譜補(bǔ)全(ICEWS05-15),這是一個(gè)純粹考察"知識(shí)圖譜嵌入能力"的標(biāo)準(zhǔn)化學(xué)術(shù)測(cè)試,包含2005年到2015年間的大量國(guó)際政治事件三元組,系統(tǒng)需要根據(jù)歷史數(shù)據(jù)預(yù)測(cè)遺漏的信息。ROMEM在這個(gè)測(cè)試中取得了72.6的MRR分?jǐn)?shù)(MRR是一種綜合衡量排名質(zhì)量的指標(biāo),越高越好),顯著超過(guò)了此前的最優(yōu)方法3DG-TE(69.4),以及作為基礎(chǔ)架構(gòu)的ChronoR(68.4)。這一結(jié)果證明,功能性時(shí)間建模和語(yǔ)義速度閥不但沒(méi)有損害原有的知識(shí)圖譜表達(dá)能力,反而有所提升。

第二個(gè)測(cè)試是MultiTQ,這是一個(gè)專門考察復(fù)雜時(shí)序推理的問(wèn)答基準(zhǔn),包含近五百道需要精確時(shí)間判斷的問(wèn)題,比如"誰(shuí)在2009年之后成為某國(guó)的總統(tǒng)"或"某事件發(fā)生在哪一年"。這個(gè)測(cè)試最能體現(xiàn)ROMEM處理時(shí)間沖突的核心優(yōu)勢(shì)。結(jié)果相當(dāng)驚人:在GPT-5-mini配置下,ROMEM取得了0.337的MRR,而現(xiàn)有最好的圖譜記憶系統(tǒng)HippoRAG只有0.203;在下游答案準(zhǔn)確率上,ROMEM達(dá)到了0.366,而HippoRAG只有0.112——也就是說(shuō),ROMEM的準(zhǔn)確率是其三倍多。Mem0、Zep等其他系統(tǒng)的表現(xiàn)也與HippoRAG相近,遠(yuǎn)低于ROMEM。這個(gè)巨大的差距清晰地展示了幾何遮蔽機(jī)制的效力:當(dāng)多個(gè)時(shí)間段的矛盾信息同時(shí)存在時(shí),ROMEM能夠向下游AI大模型提供一個(gè)干凈、無(wú)歧義的信息窗口,而其他系統(tǒng)則把所有矛盾信息混在一起傳給大模型,導(dǎo)致大模型困惑不堪。

第三個(gè)測(cè)試是LoCoMo,這是一個(gè)考察長(zhǎng)期對(duì)話記憶的綜合性基準(zhǔn),既有時(shí)間相關(guān)問(wèn)題,也有多跳推理、開(kāi)放問(wèn)答等各類型問(wèn)題,更全面地反映真實(shí)使用場(chǎng)景。這個(gè)測(cè)試的關(guān)鍵在于:它不僅考驗(yàn)系統(tǒng)能否處理時(shí)間問(wèn)題,還考驗(yàn)時(shí)間處理機(jī)制是否會(huì)"誤傷"非時(shí)間性問(wèn)題。ROMEM以0.857的綜合平均分位居第一,不僅在時(shí)間推理子類(0.726)超越了基礎(chǔ)HippoRAG(0.645),在單跳問(wèn)題(0.768)和開(kāi)放問(wèn)答(0.904)上也有明顯提升。Zep在多跳問(wèn)題上略有優(yōu)勢(shì),但綜合評(píng)分低于ROMEM。這說(shuō)明速度閥的"選擇性旋轉(zhuǎn)"機(jī)制工作正常:只對(duì)動(dòng)態(tài)信息施加旋轉(zhuǎn),對(duì)靜態(tài)信息保持不變,所以整體性能沒(méi)有受到任何拖累。

第四個(gè)測(cè)試是FinTMMBench,這是一個(gè)金融領(lǐng)域的時(shí)序問(wèn)答基準(zhǔn),考察系統(tǒng)在全新未知領(lǐng)域的零樣本泛化能力。系統(tǒng)在此前從未接觸過(guò)金融專業(yè)術(shù)語(yǔ),卻需要正確判斷"季度營(yíng)收""股價(jià)波動(dòng)"等金融關(guān)系的時(shí)間波動(dòng)性。ROMEM以0.728的MRR略微領(lǐng)先A-Mem(0.716)和基礎(chǔ)HippoRAG(0.690)。這個(gè)結(jié)果驗(yàn)證了速度閥并非在死記硬背訓(xùn)練數(shù)據(jù)中的具體關(guān)系,而是真正學(xué)到了"關(guān)系是否易變"這一普適性語(yǔ)義規(guī)律,因此能夠推廣到完全陌生的領(lǐng)域。

六、系統(tǒng)架構(gòu)的完整圖景:從原始文本到最終答案

完整地了解ROMEM的工作流程,有助于理解它如何作為"即插即用"的模塊與現(xiàn)有系統(tǒng)配合。整個(gè)流程分為四個(gè)階段,環(huán)環(huán)相扣。

原始文本進(jìn)入系統(tǒng)后,首先經(jīng)過(guò)時(shí)序開(kāi)放信息抽?。═emporal OpenIE)階段,一個(gè)大模型會(huì)從文本中提取結(jié)構(gòu)化的三元組,同時(shí)盡可能提取事件發(fā)生的時(shí)間(文本時(shí)間)并記錄當(dāng)前攝入的時(shí)間(觀測(cè)時(shí)間)。這兩個(gè)時(shí)間是分開(kāi)記錄的:前者用于幾何旋轉(zhuǎn)計(jì)算,后者用于基本的元數(shù)據(jù)管理。如果文本中沒(méi)有明確的時(shí)間信息,文本時(shí)間就留空,系統(tǒng)會(huì)退化到純語(yǔ)義檢索模式。

抽取出的三元組以"只增不刪"的方式存入知識(shí)圖譜,同時(shí)也存入對(duì)應(yīng)的文本段落索引。所有矛盾信息都共存于同一個(gè)圖譜中,不做任何刪除或標(biāo)注。這是ROMEM的關(guān)鍵架構(gòu)特性:它不試圖在存儲(chǔ)階段解決沖突,而是把沖突解決推遲到查詢階段,用幾何方法自然處理。

當(dāng)查詢到來(lái)時(shí),系統(tǒng)首先用語(yǔ)義檢索(基于密集向量相似度和個(gè)性化PageRank圖遍歷)找出一批候選事實(shí),然后用時(shí)序知識(shí)圖譜嵌入模型對(duì)這批候選事實(shí)進(jìn)行重新排序。重排序時(shí),系統(tǒng)會(huì)根據(jù)查詢意圖自動(dòng)選擇三種模式之一:如果查詢明確指定了時(shí)間(比如"2009年的總統(tǒng)是誰(shuí)"),就嚴(yán)格按照該時(shí)間點(diǎn)的幾何對(duì)齊度排序;如果查詢是在問(wèn)時(shí)間本身(比如"某事件是何時(shí)發(fā)生的"),就把每條信息的存儲(chǔ)時(shí)間作為排序參考;如果查詢沒(méi)有時(shí)間信息(比如"現(xiàn)任總統(tǒng)是誰(shuí)"),就默認(rèn)使用當(dāng)前時(shí)間來(lái)排序,依靠幾何遮蔽自然優(yōu)先顯示最新信息。最終排好序的候選事實(shí)被送入下游AI大模型,由大模型生成自然語(yǔ)言答案。

整個(gè)過(guò)程中,語(yǔ)義檢索和時(shí)序重排序以乘法門控的方式結(jié)合,確保時(shí)序信號(hào)只能放大語(yǔ)義上已經(jīng)相關(guān)的信息,而不會(huì)讓"時(shí)間對(duì)得很準(zhǔn)但內(nèi)容完全無(wú)關(guān)"的信息意外闖入結(jié)果。

歸根結(jié)底,ROMEM想解決的問(wèn)題其實(shí)非常日常:當(dāng)你的AI助手告訴你某件事,你怎么確定它說(shuō)的是"當(dāng)時(shí)有效"的信息,而不是已經(jīng)過(guò)時(shí)的舊知識(shí)?現(xiàn)有系統(tǒng)基本靠"刷新日期"來(lái)應(yīng)對(duì)這個(gè)問(wèn)題,就像操作系統(tǒng)靠文件修改時(shí)間來(lái)管理文檔——簡(jiǎn)單粗暴,但對(duì)"時(shí)效性本來(lái)就不一樣"的不同類型信息來(lái)說(shuō),這個(gè)方法太過(guò)粗糙。ROMEM的貢獻(xiàn)在于提出了一套更精細(xì)的機(jī)制:讓知識(shí)本身"知道自己的有效期",并用數(shù)學(xué)方式把這種有效期編碼進(jìn)向量空間的幾何結(jié)構(gòu)里,從根本上告別了"要么刪除歷史、要么淹沒(méi)在矛盾信息里"的兩難困局。

對(duì)于普通用戶而言,這意味著未來(lái)的AI助手在處理"最近的新聞"和"歷史上的事情"時(shí),能夠更加準(zhǔn)確地區(qū)分哪些信息是真正應(yīng)該優(yōu)先顯示的,而不是一古腦兒把所有相關(guān)內(nèi)容都丟過(guò)來(lái),讓用戶自己去辨別。對(duì)于構(gòu)建企業(yè)知識(shí)庫(kù)或個(gè)人知識(shí)管理工具的開(kāi)發(fā)者來(lái)說(shuō),ROMEM提供了一個(gè)現(xiàn)成的模塊化方案,理論上可以直接插入任何現(xiàn)有的圖譜記憶系統(tǒng),無(wú)需重建整個(gè)架構(gòu)。當(dāng)然,這套系統(tǒng)目前仍處于學(xué)術(shù)研究階段,與真實(shí)產(chǎn)品之間還有工程落地的距離,但它所提出的核心思路——用連續(xù)幾何旋轉(zhuǎn)代替離散時(shí)間標(biāo)簽——為整個(gè)領(lǐng)域提供了一個(gè)清晰可行的方向。對(duì)這項(xiàng)研究感興趣的讀者,可以通過(guò)arXiv編號(hào)2604.11544找到原始論文深入研讀。

Q&A

Q1:ROMEM是什么,它和普通的AI記憶系統(tǒng)有什么區(qū)別?

A:ROMEM是一個(gè)專門處理"時(shí)間沖突"的知識(shí)圖譜記憶模塊。普通AI記憶系統(tǒng)把時(shí)間當(dāng)作一個(gè)標(biāo)簽來(lái)管理信息,導(dǎo)致要么刪除歷史記錄、要么把矛盾信息混在一起傳給AI。ROMEM則把時(shí)間變成一種數(shù)學(xué)旋轉(zhuǎn)操作,讓過(guò)時(shí)的事實(shí)在向量空間里自然"轉(zhuǎn)偏",從而被最新有效的信息自動(dòng)壓制,同時(shí)歷史數(shù)據(jù)完整保留,支持查詢?nèi)我鈺r(shí)間點(diǎn)的信息。

Q2:語(yǔ)義速度閥是怎么知道哪些知識(shí)會(huì)變化、哪些永遠(yuǎn)不變的?

A:語(yǔ)義速度閥通過(guò)分析關(guān)系名稱的文字表述來(lái)判斷,它不依賴人工標(biāo)注,而是從歷史數(shù)據(jù)中自動(dòng)學(xué)習(xí)。它觀察同一類關(guān)系下對(duì)象實(shí)體是否隨時(shí)間發(fā)生變化:如果"擔(dān)任……總統(tǒng)"這類關(guān)系的對(duì)象經(jīng)常換人,就被判定為高波動(dòng)性;如果"出生于"這類關(guān)系的對(duì)象從未改變,就被判定為低波動(dòng)性。學(xué)習(xí)完成后,面對(duì)從未見(jiàn)過(guò)的新關(guān)系,它能通過(guò)語(yǔ)義相似性推斷波動(dòng)性,實(shí)現(xiàn)零樣本泛化。

Q3:ROMEM在時(shí)序問(wèn)答測(cè)試中比其他系統(tǒng)強(qiáng)多少?

A:在MultiTQ這個(gè)專門考察復(fù)雜時(shí)序推理的基準(zhǔn)測(cè)試中,ROMEM的下游答案準(zhǔn)確率達(dá)到0.366,而當(dāng)前最好的同類系統(tǒng)HippoRAG只有0.112,約為其三倍。MRR指標(biāo)上ROMEM為0.337,HippoRAG為0.203。這個(gè)巨大差距來(lái)自于ROMEM能向下游AI大模型提供干凈無(wú)歧義的時(shí)序上下文,而其他系統(tǒng)會(huì)把矛盾信息混在一起,導(dǎo)致AI大模型困惑和答題失誤。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
NBA官方:弗拉格當(dāng)選年度最佳新秀 成獨(dú)行俠隊(duì)史第三位獲獎(jiǎng)?wù)?>
    </a>
        <h3>
      <a href=羅說(shuō)NBA
2026-04-28 07:21:45
遼寧男籃1-0山東,郭艾倫一針見(jiàn)血道出遼籃內(nèi)線強(qiáng)大優(yōu)勢(shì)

遼寧男籃1-0山東,郭艾倫一針見(jiàn)血道出遼籃內(nèi)線強(qiáng)大優(yōu)勢(shì)

赫岝鄉(xiāng)村攝影
2026-04-29 03:34:08
一場(chǎng)1:1驗(yàn)出海歸小將真成色 邵佳一發(fā)現(xiàn)新寶藏 國(guó)足鋒線又添猛人

一場(chǎng)1:1驗(yàn)出海歸小將真成色 邵佳一發(fā)現(xiàn)新寶藏 國(guó)足鋒線又添猛人

零度眼看球
2026-04-28 06:46:34
阿聯(lián)酋退出歐佩克,直接讓全球能源圈來(lái)了個(gè)大震蕩!

阿聯(lián)酋退出歐佩克,直接讓全球能源圈來(lái)了個(gè)大震蕩!

利刃號(hào)
2026-04-28 22:23:41
7年敗光2億!鄒市明冉瑩穎共同發(fā)文:二人最終還是邁出了這一步!

7年敗光2億!鄒市明冉瑩穎共同發(fā)文:二人最終還是邁出了這一步!

拳擊時(shí)空
2026-04-16 06:04:48
世錦賽:趙心童連敗5局,黑馬激戰(zhàn)25局驚險(xiǎn)晉級(jí)唯一

世錦賽:趙心童連敗5局,黑馬激戰(zhàn)25局驚險(xiǎn)晉級(jí)唯一

小犙拍客在北漂
2026-04-29 03:02:30
21歲擊敗王菲的童顏巨乳富婆,巔峰期卻選擇主動(dòng)過(guò)氣

21歲擊敗王菲的童顏巨乳富婆,巔峰期卻選擇主動(dòng)過(guò)氣

悠悠說(shuō)世界
2026-04-25 14:03:58
賴清德做夢(mèng)都沒(méi)想到,鄭麗文的丈夫早被策反,臺(tái)獨(dú)情侶變統(tǒng)一夫妻

賴清德做夢(mèng)都沒(méi)想到,鄭麗文的丈夫早被策反,臺(tái)獨(dú)情侶變統(tǒng)一夫妻

小楊侃事
2026-04-12 09:40:51
中央政治局會(huì)議穩(wěn)定軍心!兩天內(nèi)A股大盤將向上變盤!誰(shuí)能領(lǐng)漲?

中央政治局會(huì)議穩(wěn)定軍心!兩天內(nèi)A股大盤將向上變盤!誰(shuí)能領(lǐng)漲?

丁丁鯉史紀(jì)
2026-04-28 18:24:04
豆包提前查到事業(yè)編成績(jī)單,全網(wǎng)炸了!

豆包提前查到事業(yè)編成績(jī)單,全網(wǎng)炸了!

互聯(lián)網(wǎng)品牌官
2026-04-27 18:11:08
臺(tái)灣政壇徹底炸鍋!

臺(tái)灣政壇徹底炸鍋!

安安說(shuō)
2026-04-28 10:56:05
聯(lián)想把用了20年的BIOS供應(yīng)商買回家了

聯(lián)想把用了20年的BIOS供應(yīng)商買回家了

薛定諤的BUG
2026-04-27 22:37:44
賴清德向大陸喊話,林佳龍返臺(tái):機(jī)場(chǎng)大言不慚!解放軍打獨(dú)大動(dòng)作

賴清德向大陸喊話,林佳龍返臺(tái):機(jī)場(chǎng)大言不慚!解放軍打獨(dú)大動(dòng)作

共工之錨
2026-04-28 15:40:37
遼寧省委書(shū)記、省長(zhǎng)等共同巡看夜經(jīng)濟(jì)市集

遼寧省委書(shū)記、省長(zhǎng)等共同巡看夜經(jīng)濟(jì)市集

蘭妮搞笑分享
2026-04-29 00:11:17
白鹿《跑男》發(fā)言引全網(wǎng)聲討,節(jié)目收視率刷新低

白鹿《跑男》發(fā)言引全網(wǎng)聲討,節(jié)目收視率刷新低

海外散修厲飛雨
2026-04-27 17:50:27
和前夫分道揚(yáng)鑣后,她和9歲女兒相依為命,如今又成粉絲的意難平

和前夫分道揚(yáng)鑣后,她和9歲女兒相依為命,如今又成粉絲的意難平

翰飛觀事
2026-04-26 14:55:41
帕勞通告全球,拒與臺(tái)灣“斷交”!話音剛落,大陸宣布統(tǒng)一后安排

帕勞通告全球,拒與臺(tái)灣“斷交”!話音剛落,大陸宣布統(tǒng)一后安排

厲羽萱
2026-04-29 00:28:09
為什么男人每次偷情要開(kāi)房,女人每次偷情都在車?yán)锬兀?>
    </a>
        <h3>
      <a href=思絮
2026-04-28 10:25:11
別再吹天生美貌!朱珠真實(shí)原生臉曝光,整容前后差距一目了然

別再吹天生美貌!朱珠真實(shí)原生臉曝光,整容前后差距一目了然

小娛樂(lè)悠悠
2026-04-27 09:21:13
5月1日正式開(kāi)刀!3萬(wàn)就立案,所有打工人都要警惕

5月1日正式開(kāi)刀!3萬(wàn)就立案,所有打工人都要警惕

洞見(jiàn)小能手
2026-04-27 21:17:44
2026-04-29 04:47:00
科技行者 incentive-icons
科技行者
科技正在如何變革商業(yè)世界
8183文章數(shù) 563關(guān)注度
往期回顧 全部

科技要聞

10億周活目標(biāo)落空!傳OpenAI爆發(fā)內(nèi)部分歧

頭條要聞

19歲中國(guó)女孩被困緬甸 交20萬(wàn)贖金園區(qū)仍未放人

頭條要聞

19歲中國(guó)女孩被困緬甸 交20萬(wàn)贖金園區(qū)仍未放人

體育要聞

魔術(shù)黑八活塞,一步之遙?!

娛樂(lè)要聞

蔡卓妍官宣結(jié)婚,老公比她小10歲

財(cái)經(jīng)要聞

中央政治局會(huì)議定調(diào),八大看點(diǎn)速覽!

汽車要聞

拒絕瘋狂套娃!現(xiàn)代艾尼氪金星長(zhǎng)在未來(lái)審美點(diǎn)上

態(tài)度原創(chuàng)

本地
數(shù)碼
健康
公開(kāi)課
軍事航空

本地新聞

用青花瓷的方式,打開(kāi)西溪濕地

數(shù)碼要聞

機(jī)械革命蒼龍16 / 18 Pro游戲本RTX 5070 12GB款開(kāi)啟預(yù)約

干細(xì)胞治療燒燙傷三大優(yōu)勢(shì)!

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

軍事要聞

德國(guó)總理默茨:美國(guó)正遭受伊朗領(lǐng)導(dǎo)層的羞辱

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版