国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Context Engineering,記憶能力對于大模型的重要性還在提升

0
分享至

今年AI最火的方向是什么?估計大家也都聽過,就是AI Agent,AI代理。

而Agent本質(zhì)上就是LLM做腦子,其他的部件權限能給盡量給,比如讀文件,用搜索引擎等等,但這個腦子有個非常重要的指標:腦容量。

腦容量也就是記憶量,放在LLM里面就是context上下文長度。

這個影響非常大,因為一個agent一次任務會產(chǎn)生非常多的副產(chǎn)品,比如思考過程,中間過程等等,而這些都需要“被記住”,所以理論上來說,這個context應該是越長越好。

今年比較火的Agent,出圈的主要就是寫代碼的。

也就是自動寫程序,甚至能生成一整個項目的,國外有cursor,國內(nèi)有字節(jié)的Trae,它倆性能最好的時候就是用了Claude-4這一代的模型。

模型對代碼任務經(jīng)過微調(diào)占主要,context window根據(jù)推測最少也到20萬token這個級別。


而這個context window的指標,24年底的DeepSeek R1只有12.8萬。


你在看ChatGPT3.5時代的context windows,只有1.6萬+。


小的context windows有個巨大的問題,那就是它根本處理不了稍微大點的文檔,還記得最開始的ChatGPT,為了能夠讀一本《三體》,不少人專門做了切分工具,每幾千字就自動分割,扔個ChatGPT,并且還要加Prompt,類似這樣的:

你是一個AI大模型,專門讀小說的,我這里有一本書,字數(shù)比較多,需要切分成一段段給你看,如果可以的話,我就開始發(fā)給你了,看完后請告訴我

但是在Agent時代這種做法根本不可行,稍微大點的的文檔就是萬字,甚至有些大點的項目,幾十萬字的文檔+代碼也很常見,那么現(xiàn)在的主流大模型都把Context Window默默加大了,基本上都是百萬M級別。

MiniMax M1,百萬上下文


Gemini 2.5 Pro,現(xiàn)在是百萬上下文,馬上要到兩百萬。


你會發(fā)現(xiàn)現(xiàn)在能上的了榜單的模型,context window就沒有10萬以下的,低于這個數(shù)就基本上用不了。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
好久不見張一山!媽呀!他怎么變成陳冠希了?

好久不見張一山!媽呀!他怎么變成陳冠希了?

小椰的奶奶
2025-12-26 13:07:25
明星全家福,誰丑遺傳誰,丑基因真的是一點沒浪費,白瞎了好基因

明星全家福,誰丑遺傳誰,丑基因真的是一點沒浪費,白瞎了好基因

呆冰和章魚
2025-12-26 02:42:33
逍遙丸可治20多種病,別只用來疏肝健脾了,一定要收藏

逍遙丸可治20多種病,別只用來疏肝健脾了,一定要收藏

阿兵科普
2025-12-27 17:04:42
全球最精確預言家:2026,歷史性的一年, 能說的都在這里

全球最精確預言家:2026,歷史性的一年, 能說的都在這里

神奇故事
2025-12-24 23:34:15
兵敗如山倒,烏宣布重磅決定:全面撤出,英法德集體失聲

兵敗如山倒,烏宣布重磅決定:全面撤出,英法德集體失聲

不吃草de兔子
2025-12-27 19:05:50
固態(tài)電池神話破滅,中日韓千億投資恐打水漂

固態(tài)電池神話破滅,中日韓千億投資恐打水漂

菠蘿欣賞家本尊
2025-12-17 19:00:11
王皓不參加競聘,這事看著平靜,其實比他參加更讓人心里發(fā)緊。

王皓不參加競聘,這事看著平靜,其實比他參加更讓人心里發(fā)緊。

小光侃娛樂
2025-12-27 20:45:02
不到24小時美國扣押第三艘油輪,遭遇強硬對手引發(fā)海上追逐戰(zhàn)

不到24小時美國扣押第三艘油輪,遭遇強硬對手引發(fā)海上追逐戰(zhàn)

優(yōu)趣紀史記
2025-12-23 16:23:38
CCTV不播,乒超總決賽28日賽程!王楚欽輸孫穎莎,無緣十佳運動員

CCTV不播,乒超總決賽28日賽程!王楚欽輸孫穎莎,無緣十佳運動員

侃球熊弟
2025-12-28 00:50:03
南京博物院事件后,意外火了深圳博物館,里面的展品搞笑又接地氣

南京博物院事件后,意外火了深圳博物館,里面的展品搞笑又接地氣

振華觀史
2025-12-26 13:31:50
玄學提醒:盡量不要跟身邊任何人,分享這4件事!

玄學提醒:盡量不要跟身邊任何人,分享這4件事!

神奇故事
2025-12-27 23:46:18
45歲董潔天安門騎行,穿1萬7羽絨服在大街吃肉串,86斤體重挺能吃

45歲董潔天安門騎行,穿1萬7羽絨服在大街吃肉串,86斤體重挺能吃

一娛三分地
2025-12-25 17:35:57
女人老了,可以不戴項鏈、手鐲!但這3種配飾不能少,你有嗎?

女人老了,可以不戴項鏈、手鐲!但這3種配飾不能少,你有嗎?

小陳聊搭配
2025-12-27 19:08:32
存款達標線曝光!這個數(shù)就能碾壓 98% 家庭,你拖后腿了嗎?

存款達標線曝光!這個數(shù)就能碾壓 98% 家庭,你拖后腿了嗎?

復轉(zhuǎn)這些年
2025-12-27 23:47:51
實測:龍芯2K3000與Intel i3-N305有多大差距?

實測:龍芯2K3000與Intel i3-N305有多大差距?

小柱解說游戲
2025-12-27 11:14:33
被放棄?無緣回歸國家隊?多次陪全紅嬋回家,誰注意薇姐去向

被放棄?無緣回歸國家隊?多次陪全紅嬋回家,誰注意薇姐去向

樂聊球
2025-12-26 14:38:36
連Andrej Karpathy都慌了:AI編程的9級地震正在發(fā)生什么

連Andrej Karpathy都慌了:AI編程的9級地震正在發(fā)生什么

AI進化論花生
2025-12-27 11:26:15
賴昌星發(fā)妻曾明娜現(xiàn)狀:逃亡10年后回國,守著3000平老宅安靜養(yǎng)老

賴昌星發(fā)妻曾明娜現(xiàn)狀:逃亡10年后回國,守著3000平老宅安靜養(yǎng)老

古書記史
2025-12-12 11:21:38
一男子每天穿破損羽絨服12小時,確診“羽絨肺” 導致的呼吸衰竭!原因竟是……

一男子每天穿破損羽絨服12小時,確診“羽絨肺” 導致的呼吸衰竭!原因竟是……

杭州之聲
2025-12-27 09:51:19
遼寧隊史第2次輸北控!球迷狂刷官媒:你們對得起現(xiàn)場的球迷嗎?

遼寧隊史第2次輸北控!球迷狂刷官媒:你們對得起現(xiàn)場的球迷嗎?

狼叔評論
2025-12-27 22:18:21
2025-12-28 07:47:00
平凡AI incentive-icons
平凡AI
高校AI從業(yè)者
54文章數(shù) 23關注度
往期回顧 全部

科技要聞

小米也漲價了!業(yè)界稱終端再不漲明年必虧

頭條要聞

山西大同一小區(qū)物業(yè)禁止新能源車進入地庫:擔心自燃

頭條要聞

山西大同一小區(qū)物業(yè)禁止新能源車進入地庫:擔心自燃

體育要聞

83分鐘絕殺!曼城2-1年度收官:英超6連勝狂飆

娛樂要聞

張昊唯逃稅涉黃風波落幕:法院認定朋友造謠

財經(jīng)要聞

注意,開始拉物價了!

汽車要聞

好音響比大屏更重要?車企開始“聽”用戶的

態(tài)度原創(chuàng)

藝術
親子
旅游
教育
手機

藝術要聞

手串種類大盤點,全見過的算得上是文玩老手了!

親子要聞

62歲懷二胎真相驚人!醫(yī)生擔憂的惡心一幕曝光!

旅游要聞

又添一條櫻花大道 大理三月好風光

教育要聞

劉嘉教授:教貧窮的人有自尊會刺傷對方

手機要聞

榮耀WIN系列全球首發(fā)10000mAh電池:友商短時間內(nèi)很難超越

無障礙瀏覽 進入關懷版