關(guān)注飛總聊IT，了解IT行業(yè)的方方面面。

今年是2025年，我這個(gè)公眾號(hào)，寫(xiě)大數(shù)據(jù)起家的，已經(jīng)很久沒(méi)寫(xiě)大數(shù)據(jù)了。

我覺(jué)得目前的環(huán)境，傳統(tǒng)意義上的大數(shù)據(jù)，說(shuō)已經(jīng)死了，一點(diǎn)都不為過(guò)。

因此，在大數(shù)據(jù)上混日子的人，比如我，現(xiàn)在也就沒(méi)什么光明前途了，除非換賽道。

為什么說(shuō)大數(shù)據(jù)死了呢？以下是一家之言。

第一，大數(shù)據(jù)不是大部分企業(yè)的剛需。

大數(shù)據(jù)行業(yè)剛開(kāi)始的時(shí)候，先行者比如谷歌，有一個(gè)大餅，說(shuō)我們以后數(shù)據(jù)會(huì)不斷的隨著業(yè)務(wù)規(guī)模和分析使用年限的增加而增長(zhǎng)。

但現(xiàn)實(shí)而言，現(xiàn)在的企業(yè)里面，只要不涉及視頻什么的，純文本意義上的大數(shù)據(jù)，絕大部分企業(yè)，都沒(méi)那么大的增長(zhǎng)。而且，人們很少去看很久很久以前的數(shù)據(jù)集。

比如說(shuō)廣告行業(yè)，有誰(shuí)去挖掘10年以前的數(shù)據(jù)來(lái)更新現(xiàn)在的模型呢？

所以，大部分企業(yè)，其實(shí)從來(lái)都不需要大數(shù)據(jù)。很多企業(yè)的數(shù)據(jù)規(guī)模，也不大。

第二，大數(shù)據(jù)生態(tài)圈丟了很多領(lǐng)地。

大數(shù)據(jù)剛誕生的時(shí)候，我們可以認(rèn)為是私有云的時(shí)代，存儲(chǔ)是大數(shù)據(jù)里面很重要的一部分，GFS是谷歌三駕馬車之一。

但是現(xiàn)在呢？MapReduce勉強(qiáng)算大數(shù)據(jù)陣營(yíng)，雖然它被更先進(jìn)的技術(shù)取代了。GFS這個(gè)存儲(chǔ)層，今天早就被公有云更廉價(jià)更好用的對(duì)象存儲(chǔ)替代了。對(duì)象存儲(chǔ)就和大數(shù)據(jù)沒(méi)半毛錢關(guān)系了。

至于BigTable作為三駕馬車之一，現(xiàn)在看，最多屬于NoSQL，和大數(shù)據(jù)沒(méi)半毛錢關(guān)系。所以以前大家說(shuō)的谷歌三架馬車奠定大數(shù)據(jù)基礎(chǔ)，今天回頭看，只有半架馬車了--MapReduce了。

同樣的，在虛擬機(jī)時(shí)代，YARN作為資源調(diào)度管理器，一開(kāi)始就是在大數(shù)據(jù)背景下誕生的。但是今天呢？K8S本身和在K8S上的各種資源管理調(diào)度框架，和大數(shù)據(jù)有半毛錢關(guān)系嗎？

所以大數(shù)據(jù)發(fā)展到今天，說(shuō)白了，剩下的領(lǐng)地?zé)o非就是lakehouse里面的ETL（Spark)和query（Trino）。其他的，都算不上純粹的大數(shù)據(jù)。

就連以前寄予厚望的Flink，伴隨Spark對(duì)streaming的native support，也沒(méi)剩下多少了。

第三，這10多年硬件的發(fā)展，也改變了生態(tài)。

2008年的單機(jī)，和2025年的單機(jī)，性能完全不一樣。現(xiàn)在，100多GB的內(nèi)存，1TB的SSD，不是夢(mèng)。網(wǎng)絡(luò)的發(fā)展，也同理。

這就意味著原來(lái)可能上千臺(tái)機(jī)器，需要寫(xiě)磁盤的操作，今天只需要上百臺(tái)機(jī)器，幾十臺(tái)機(jī)器就可以了。

大數(shù)據(jù)引擎的很多東西，當(dāng)年看起來(lái)各種優(yōu)化都有道理，越優(yōu)化越好，現(xiàn)在就不一樣了。以前的Impala用c++寫(xiě)，按理來(lái)說(shuō)是個(gè)很不錯(cuò)的架構(gòu)，怎么就敗給了Java寫(xiě)的Trino呢？

在Trino還是Presto的時(shí)候，一分為二，那個(gè)依然叫著Presto的Meta分支，要用c++取代Java的實(shí)現(xiàn)，實(shí)際上來(lái)說(shuō)，重要嗎？似乎在目前單機(jī)性能足夠強(qiáng)，單機(jī)內(nèi)存足夠大，JVM的garbage collection越來(lái)越牛逼的今天，也越來(lái)越不重要了。

所以傳統(tǒng)意義上的大數(shù)據(jù)，為什么死得差不多了。無(wú)非，客戶數(shù)據(jù)的規(guī)模和預(yù)測(cè)的畫(huà)餅天差地別，原本屬于大數(shù)據(jù)的大盤領(lǐng)地不斷丟失，而新技術(shù)尤其新硬件的發(fā)展，又使得單機(jī)性能規(guī)格各方面都比15年前領(lǐng)先了不知道幾個(gè)量級(jí)。

所以，大數(shù)據(jù)自然是死了。

但是有人說(shuō)了，Lakehouse死了，Lakebase活了。我就不點(diǎn)名了，大家都知道這是誰(shuí)說(shuō)的。畢竟，現(xiàn)在AI火了，agent的大餅又出來(lái)了。

某公司花2B收購(gòu)一家serverless Postgres，就換來(lái)了100B market cap的新融資，這肯定是一筆劃算的買賣。

但是這也給所有做大數(shù)據(jù)的人一個(gè)啟示。傳統(tǒng)意義的大數(shù)據(jù)的餅，證明是個(gè)假餅，已經(jīng)死了。但是Agent和AI世界里面的新的“大數(shù)據(jù)”，又可以開(kāi)始新一輪的畫(huà)餅了。

當(dāng)然，大數(shù)據(jù)的名字也不好聽(tīng)了，所以我們必須換個(gè)新馬甲新名字。所有做大數(shù)據(jù)的人，都應(yīng)該去做Agent用的數(shù)據(jù)處理系統(tǒng)，而不是人用的數(shù)據(jù)處理系統(tǒng)。

畢竟，我們接下來(lái)的餅畫(huà)的是AI的餅，是Agent的餅。

至于10年15年以后往回看，AI的落地，會(huì)不會(huì)如同今天我們吹的那么美好，還是和大數(shù)據(jù)一樣，一地雞毛，那我就不知道了。

但是，我覺(jué)得索羅斯的名言是對(duì)的，管它是不是泡泡，都要ride the wave。跟著潮流走，一個(gè)餅破了，還有另外一個(gè)餅。

套路還是那些個(gè)套路，人還是那些個(gè)人。昨天大家都是大數(shù)據(jù)的人才，今天大家都為Agent事業(yè)畫(huà)餅添磚加瓦。懂不懂Agent，都是專家。

怎么不是專家了？誰(shuí)給你膽子說(shuō)不是專家，是騙子的。

昨天我們都是大數(shù)據(jù)人，今天我們都是為Agent事業(yè)而奮斗的專家。

與所有大數(shù)據(jù)從業(yè)者共勉。不破不立，破了才能立起來(lái)。管他趨勢(shì)的盡頭是不是洪水滔天，先享受再說(shuō)。

我們要學(xué)習(xí)路易十六的名言：我死后，哪管他洪水滔天。此處應(yīng)有打賞。

推薦飛總知識(shí)星球，在私域場(chǎng)合里暢所欲言，聊聊職場(chǎng)發(fā)展的事情，和飛總提問(wèn)交流，這么低的價(jià)格不會(huì)一直保留，機(jī)會(huì)難得，一定不要錯(cuò)過(guò)這個(gè)的機(jī)會(huì)。