淺友們好~我是史中，我的日常生活是開撩五湖四海的科技大牛，我會嘗試各種姿勢，把他們的無邊腦洞和溫情故事講給你聽。如果你想和我做朋友，不妨加微信（shizhongmax）。

我在騰訊造“炮彈”

文 | 史中

（一）真的狠人，可以寫自己的“命運劇本”

我們現(xiàn)在回憶起來，騰訊好像是“嗖——”地一下就成了今天這么大。

但事實顯然不是這樣，我們的記憶最愛騙人。

在騰訊的“歷史相冊”里，每時每刻，身邊都站著至少一個強大到隨時能把自己“掐死”的對手。

比如2005年，這個對手就是微軟。確切地說，是微軟的 MSN。

一邊是世界首富比爾·蓋茨商業(yè)帝國下銀盔亮甲的正規(guī)軍，一邊是名不見經(jīng)傳的深圳尋呼系統(tǒng)開發(fā)程序員馬化騰的“中學生聊天神器”。

這一邊倒的局面，連看熱鬧的都捂住眼鏡，生怕騰訊挨打的時候濺自己一身血。

甚至，連蓋茨寫給馬化騰的“收購信”都被民間寫手幫忙擬好了。。。說什么“感謝 QQ 給中國小朋友普及了即時通信的概念，等他們長大了，工作了，有錢了，就會轉(zhuǎn)移到 MSN 了?！?/p>

馬化騰不太喜歡拋頭露面，但所謂“兵者，國之大事”，他不得不考慮正面迎敵，在北京召開了“QQ2005”的發(fā)布會。

在這次發(fā)布會上，他糾集了畢生內(nèi)力，預言了“即時通訊產(chǎn)業(yè)”的六大趨勢：娛樂化、社區(qū)化和互動化、個人信息處理、無線互聯(lián)網(wǎng)、安全性、本地化應(yīng)用。

這是啥？天上一腳地下一腳，現(xiàn)場記者多半聽了個寂寞。

如今回望，這段預言兇狠至極——不僅把QQ將要如何手刃MSN的劇本攤牌給了所有人（社區(qū)化和互動化），還清晰地排布了不久之后QQ空間和校內(nèi)網(wǎng)血戰(zhàn)的陣型（娛樂化），也埋下了和盜號黨血拼的硬核劇情（安全性），還某種程度上預言了微信的誕生（無線互聯(lián)網(wǎng)）。

那是騰訊之后整整八年的命運劇本。

（二）大數(shù)據(jù)炮彈，和影子里的“裝填手”

我們把戰(zhàn)事快進到2009年。

那年4月，QQ空間的操刀人湯道生和產(chǎn)品大牛鄭志昊一起飛到上海，坐在瘦削的年輕人郜韶飛的辦公室里。

三人看似談笑風生，各自心里卻暗潮洶涌。

按照幾年前馬化騰制定的“劇本”，QQ游戲和QQ空間，這兩位“護法”已經(jīng)分別坐鎮(zhèn)QQ的左右兩翼，不僅把 MSN 打得灰頭土臉，還讓新冒頭的競爭對手無法近身，成功幫助QQ穩(wěn)坐即時通訊第一把交椅。

但商戰(zhàn)正如大軍對壘，決不能掉以輕心——側(cè)翼越厚，核心當然越安全，但你的側(cè)翼本身也必然暴露，成為對手奇襲的最佳目標。。。

這不，“左路”的游戲，面對的是比自己高一頭的盛大和網(wǎng)易，咱們這次篇幅有限，暫且不聊；單說“右路”，QQ空間這一邊，面對的是最初由鬼才王興創(chuàng)辦，此時由陳一舟接棒，風頭正勁的“校內(nèi)網(wǎng)”。

僵持被一顆“菜”給打破了——郜韶飛的創(chuàng)業(yè)公司“五分鐘”做的“開心農(nóng)場”入駐校內(nèi)網(wǎng)，一夜之間成為了最火的游戲，沒有之一。

幾億人寧可不睡覺也要偷菜，這種“人民戰(zhàn)爭”的架勢讓QQ空間冷汗直流。

這次來，湯道生就是奔著“研究個價格，無論如何也要把開心農(nóng)場請到QQ空間里”來的。

歷史的快門按下時，說出“茄子”的當事人往往懵然無知：恐怕湯道生本人也沒有意識到，這個小小辦公室里的對談，竟會成為日后騰訊技術(shù)“宇宙大爆炸”的原點。

2009年5月22日，開心農(nóng)場（QQ農(nóng)場）第一天在QQ空間上線，涌進來的用戶就直接干爆了“五分鐘”的全部服務(wù)器。

危機當前，騰訊只好火速接管農(nóng)場的底層運維。

接下來幾個月，技術(shù)團隊玩了命，幾乎重寫了代碼，時任 CTO 張志東又特批為QQ農(nóng)場續(xù)進去幾千臺服務(wù)器，才勉強頂住人潮，而這，成為日后的巨人——騰訊云——覺醒的前傳。

而被農(nóng)場加持的QQ空間，則開始了狂暴進擊之路：

用戶像潮水一樣用火星文記錄自己的少男少女情懷，不揣冒昧地上傳自己在村口拍的葬愛 Style 照片。

這些今天看上去過于樸實的“土嗨”，卻催生了真正頂級的技術(shù)——騰訊的自研存儲、數(shù)據(jù)庫，以及為了識別、分類海量照片而誕生的人工智能（優(yōu)圖實驗室）。

這些故事我寫在了里，有興趣的淺友可以去看。

但今天那些都不提，咱們劍走偏鋒，來聊聊這次“宇宙大爆炸”炸出的另一個王者之師。

其實大伙兒看熱鬧的時候，很容易忽略一個問題：

同樣是開心農(nóng)場，放在人人網(wǎng)手里，只是一個爆款游戲而已；為啥放在騰訊手里，就成了“核武器”，不僅直接幫助QQ空間用戶沖過3億，還像過電一樣提振了騰訊的游戲、社交會員等等所有產(chǎn)品線？

一個重要的原因是：

在騰訊各個團隊，都隱藏著頂尖的“運營團隊”，他們負責“看場子”——每天都研究運營數(shù)據(jù)的報表，設(shè)計第二天甚至是幾天后的運營活動，例如做個啥樣的對戰(zhàn)賽，農(nóng)場的“化肥”怎么賣，黃鉆會員打幾折之類。

用戶在這樣的場子里，才會感受到“氣氛組”的熱情服務(wù)，越玩越熱鬧，越玩越過癮嘛。

就像醬↓↓↓

如果回到騰訊所在的戰(zhàn)場上看，運營團隊有點像是“炮手”，指哪打哪。

打仗不能奢求速勝，只有每一炮都穩(wěn)準狠地落在敵軍陣地，戰(zhàn)局才會一點一點向己方傾斜。

這里要敲黑板！

看過《亮劍》名場面的淺友都知道，炮手只負責“開炮”，他們身后還得有個低調(diào)且重要的角色，就是“裝填手”。

他們負責把炮彈（也就是剛剛說的數(shù)據(jù)報表）及時準確地填在炮膛里，這樣才可以隨時發(fā)起進攻嘛↓↓↓

這群影子里的裝填手，恰恰是我們今天的主角——騰訊“數(shù)據(jù)平臺部”的老師傅們。

有人會撇嘴：一個裝填手，整個電視劇里出場不超過兩秒吧，有啥故事可講呢？

誒，我要講的可是一群有故事的裝填手。因為他們不僅負責裝炮彈，還負責造炮彈（也就是算報表）。

算報表很難嗎？

話說如果只有十個八個用戶，根本不用專業(yè)團隊，掌柜的扒拉扒拉算盤就能搞定；

但用戶已經(jīng)上億，還要在規(guī)定時間算清楚數(shù)據(jù)，確實得上點“狠活兒”了。

咱們可以把活兒拆作兩步：

第一步，把天南海北實時產(chǎn)生的數(shù)據(jù)分毫不爽地記錄在數(shù)據(jù)庫里，這一步就像是制作火藥。

第二步，把數(shù)據(jù)按照提前寫好的高效計算框架跑一遍，把結(jié)果填到報表里，這一步就像是把火藥“懟”進去，制成炮彈。

當時的騰訊不差錢，“第一步”和“第二步”用的都是業(yè)界的頂流奢侈品——Oracle（甲骨文）數(shù)據(jù)庫。

Oracle 有點兒像“別人家的孩子”，不知道吃啥米長大的，反正很厲害就是了。。。

這家伙每天白天勤勤懇懇記錄每一筆數(shù)據(jù)，半夜開足馬力“算數(shù)”，到了凌晨5點，所有運營所需的彈藥（報表）就都安靜地躺在后臺。

運營同事早晨一來，順理成章地開始琢磨接下來的仗要怎么打。

至于技術(shù)老師傅嘛，只需要每天坐在地頭抽著旱煙，看著系統(tǒng)運轉(zhuǎn)別出毛病，就好啦！

但QQ農(nóng)場的火爆，終究打破了老師傅們田園詩般的寧靜生活：

用戶實在太活躍，每天產(chǎn)生巨量的數(shù)據(jù)，Oracle 系統(tǒng)已經(jīng)累到腰椎間盤突出，還是沒辦法保證按時完成任務(wù)——本來凌晨5點就該出的結(jié)果，有時拖到9點才能算完，而且看樣子還有進一步滑坡的趨勢。。。

再也回不去了。。。這咋辦？

如今的騰訊數(shù)據(jù)平臺負責人劉煜宏回憶，當時幾位技術(shù)不錯的老師傅們坐在一起開會，一致同意：是時候改進“炮彈”的生產(chǎn)技術(shù)，搞一個專用的“大數(shù)據(jù)計算工廠”啦！

但具體要怎么搞嘞？老師傅卻分成了旗幟鮮明的兩派：自研派和開源派。

自研派的意思是：喂，咱們可是騰訊耶，這幾年跟人打架就沒輸過，說明咱們技術(shù)還行??！這大數(shù)據(jù)系統(tǒng)從頭自己寫，多帶勁，將來在科技史上咱爺們兒也能青史留名啊！

另外幾個人站開源派，包括劉煜宏也覺得開源路線不錯。

開源派的意思是：咱們這些年之所以沒輸，恰恰是因為知道自己幾斤幾兩呀！團隊就這么兩個半人，貿(mào)然自己研發(fā)，萬一最后搞不出來，不把大好戰(zhàn)局都給耽誤了？要我說，就用現(xiàn)在市面上有潛力的開源軟件，比如 Hadoop，先做一套頂上，就挺好！

總之，自研覺得開源沒出息，開源覺得自研不實際——兩派爭得面紅耳赤。

故事講到這，你已經(jīng)準備搬小板凳，吃一場“技術(shù)路線血戰(zhàn)”的瓜了吧？

呵呵，老師傅偏不給你看熱鬧的機會。沒幾天之后，自研派幾位老哥突然找到開源派：我們驗證了一下，從頭研發(fā)的確不太實際，大家都同意走開源路線了！

開源派愣了，我們熬夜準備了好幾天的辯論材料還沒用呢，對方辯友。。。你們確定。。。不再shui服一下我們嗎？？

其實，就在2009年時，很多巨頭互聯(lián)網(wǎng)公司都遇到了和騰訊類似的問題，糾結(jié)大數(shù)據(jù)引擎是要“自研”還是“開源”。但讓人唏噓的是，一些公司后續(xù)經(jīng)歷了長達三四年你死我活的爭斗，花費巨大的代價才統(tǒng)一了路線。

而這個兇險的大雷，在騰訊卻奇葩地以微小代價早早排掉了。。。

劉煜宏

（三）“騰訊造”炮彈

就醬，在一個臨時申請的小會議室里，幾位“鮮肉程序員”一起摸黑上路了。

他們做出的第一版“炮彈兵工廠”，正是基于開源 Hadoop 體系的數(shù)據(jù)倉庫，起名叫 TDW（騰訊數(shù)倉）。

這個“兵工廠”怎么個好法呢？好就好在它有一套——“放羊系統(tǒng)”。

大量的數(shù)據(jù)計算需要很多臺計算機協(xié)作。我們可以把每臺計算機都想成一只羊，A羊出了問題，放羊系統(tǒng)根本不給它治病，而是趕緊找另外一只健康的B羊，把計算任務(wù)切換給它。至于A羊，呵呵，直接拉屠宰場了。

放羊模式雖然聽上去有點“殘忍”，但老師傅們可是越看越愛：

首先，它擴展性好。 反正一個羊也是趕，兩個羊也是放。每多加一臺機器，甭管啥機器，大數(shù)據(jù)系統(tǒng)麾下的計算力就強一丟丟嘛！理論上說，連個成千上萬臺，繞地球三圈也沒問題。 其次，它皮實耐操。 反正有放羊系統(tǒng)，哪只羊不聽話宰了就行。所以用一堆很爛很爛的機器，甚至是各個業(yè)務(wù)替換下來的報廢服務(wù)器都行。成本低到泥土里。。。

這妥妥是“農(nóng)民的兒子”?。】杀葎e人家那“豌豆公主”強到不知哪里去了！

話說，一百多年前咱們軍工剛起步時仿制的步槍不是叫“漢陽造”么？那老師傅用開源代碼搞出的這套大數(shù)據(jù)系統(tǒng)就可以叫“騰訊造”。

總之，這就是騰訊歷史上的第一代大數(shù)據(jù)平臺。

第一代大數(shù)據(jù)平臺示意圖

他們幾個興高采烈地拿著“騰訊造”就去找QQ空間的“炮手”了。

“炮手”十分感動，然后語重心長地說，我們啊，Oracle 還能頂一陣兒，要不，你們先問問別人需不需要？

這話挺客氣，但有點摸不著頭腦。

我替他們翻譯一下：“你這用一堆報廢機器造出來的炮彈靠譜嗎？萬一炸膛怎么辦？你們讓別人用了之后，要是沒問題，我們再用哦親~”

年輕的大數(shù)據(jù)團隊猶如遭遇晴天霹靂，一下子就滾到了“先有雞先有蛋”的死循環(huán)里。

要是沒人愿意當小白鼠，TDW 不就 TMD 砸手里了嗎？

他們反思了一下，結(jié)論是：一定是自己的誠意還不夠，對，要“跪式服務(wù)”！

那幾個月，老師傅挨個去和各個業(yè)務(wù)線聊，給人家端茶遞水扇扇子，曉之以理動之以情推銷“騰訊造”。

終于，有個團隊被他們西天取經(jīng)似的虔誠給感動了，這就是QQ游戲的“藍鉆會員業(yè)務(wù)”。

不過，藍鉆的炮手們提出了“約法三章”：

第一，我們的 Oracle 現(xiàn)在出數(shù)據(jù)要到早晨9點，但你們的 TDW 得早晨5點就出數(shù)據(jù)，你不比 Oracle 強我為啥要用你？ 第二，Oracle 和 TDW 兩套系統(tǒng)必須同時運行，我們的“正房”還是 Oracle，你這個 TDW 算個“小妾”。 第三，我們很難抽調(diào)出大批人力幫忙對接新系統(tǒng)，得麻煩你們“保姆式”服務(wù)。

“沒問題！”他們怕藍鉆反悔，趕緊答應(yīng)，派出團隊的半壁江山（兩個人），就坐在藍鉆同事旁邊幫他們對接。

可是很快，一個嚴重的問題就浮出水面：

既然藍鉆團隊要同時使用 Oracle 和 TDW，那人家查詢數(shù)據(jù)時候用的指令（SQL 語句）肯定是 Oracle 的那一套啊?？?TDW 的底層是 Hadoop 生態(tài)，說的是“外語”。。。

這就好比你造出來的炮彈填不進人家的大炮里，那這仗還打個毛線??！

讓人家改大炮，希望不大。唯一的解決方案就是：

大數(shù)據(jù)的老師傅們在 TDW 外面再加一層兼容 Oracle 的“彈殼”↓↓↓

于是大家一起“返工”，寫了一本“中英互譯大詞典”——能把 Oracle 查詢語句一條條解釋給 TDW 執(zhí)行。然后又花了三個月的時間跟藍鉆對接。

折騰完這些，QQ游戲的藍鉆業(yè)務(wù)終于能夠裝填 TDW 生產(chǎn)的“大數(shù)據(jù)炮彈”了。

此時已經(jīng)是2011年，距離數(shù)據(jù)團隊最初“上路”已經(jīng)有兩年多。

你也別替數(shù)據(jù)團隊鳴不平。因為很快，喜聞樂見的“宮斗劇”反轉(zhuǎn)章節(jié)就來了：

隨著業(yè)務(wù)的發(fā)展壯大，騰訊各個團隊需要計算的數(shù)據(jù)越來越復雜，到后來，很多報表“正宮” Oracle 一算就卡，而“小妾” TDW 卻默默地在一邊算好數(shù)據(jù)，不吵不鬧，安靜地等待臨幸。。。

忽如一夜春風來，黃鉆、紅鉆、QQ 會員等等業(yè)務(wù)團隊都向 TDW 伸出了橄欖枝，幸福來得太突然。

那段時間，為了支撐這些新業(yè)務(wù)，TDW 的底層設(shè)備迅速增加，從幾十臺快報廢的機器擴大到了——幾百臺快報廢的機器。。。

這沒啥，不是有“放羊系統(tǒng)”嗎？放幾十只羊，跟放幾百只羊，理論上是一樣的。

但“現(xiàn)實”走過來狠狠抽了“理論”一巴掌。。。

放羊系統(tǒng)本身也不是神，它也可能出問題??！

例如，應(yīng)該把任務(wù)從A羊身上挪走，卻沒有成功挪走，那整個計算任務(wù)就卡死了；

再例如，有的“羊”就跟周星馳演的龍?zhí)滓粯?，掙扎半天就是死不了，導演欲言又止，沒法喊“咔”——周圍一圈好羊只能抽著煙卷，看著中間這臺老弱病殘羊一晃三搖地飆演技。

簡單的數(shù)學：羊越多，出幺蛾子的羊也就越多。

這引來了各個“小白鼠”業(yè)務(wù)河東獅吼般的吐槽：喂，騙我們上了“賊船”，你 TDW 開始不好使了是不是？你怎么修我不管，反正每天早晨得把數(shù)據(jù)給我擺在這。。。

如今的大數(shù)據(jù)系統(tǒng)運維負責人趙重慶回憶，當時他們幾個同事只好使出了殺手锏——輪流值夜班。

每天晚上保證有一個人“人肉放羊”，看哪里不對勁馬上手動接管。

趙重慶

長此以往，大家眼圈一個賽一個黑，這也不是個事兒啊。

于是趙重慶又自告奮勇，開始把故障處理的操作寫成“腳本”——遇到見過的問題，就觸發(fā)腳本自動解決。

現(xiàn)在回憶，這正是騰訊大數(shù)據(jù)系統(tǒng)“自動化運維”的起點。

“很慚愧，當時也說不上有技術(shù)前瞻。只是規(guī)模大到一定程度，逼著我們必須想辦法解決。。?！壁w重慶非常實誠。

就這樣，在老師傅的精心照料下，初生的大數(shù)據(jù)系統(tǒng)終于擺脫了“無根之萍”的危險，牢牢地抓緊了腳下的土地，開始為沙場上進擊的騰訊源源不斷地吐出“炮彈”。

我來我見我征服，不亦樂乎！

只不過彼時的大數(shù)據(jù)團隊沒有意識到，自己的命運，乃至騰訊的命運，都已經(jīng)沖到了懸崖邊緣。

（四）命運急轉(zhuǎn)彎，手里是“數(shù)據(jù)方向盤”

瑪雅人說2012是世界末日。

這個預言在很多意義上都應(yīng)驗了——至少那個被無數(shù)人懷戀的充斥著盜版盤、博客、站長、代碼英雄、網(wǎng)吧氣味的“舊互聯(lián)網(wǎng)世界”正灑下最后一抹余暉，沉沉落幕。

而始自2005年騰訊的“階段性”命運劇本，也上演到了尾聲。

但這一幕“演員”的表演，多少有些失控。

過去幾年攻城略地的捷報，附贈一碗碗慶功酒，催將士微醺。騰訊的業(yè)務(wù)開始大步跨到以前并不熟悉的搜索、電商、團購等等領(lǐng)域。鵝廠眾將殺伐痛快，一抬頭卻猛然發(fā)現(xiàn)，對面的“敵人”咋越打越多嘞？

人們津津樂道的3Q大戰(zhàn)，其實只是當時諸多戰(zhàn)役中的高潮番目。從硝煙中沖出來的企鵝定睛觀瞧，前面黑洞洞，越看越像“華容道”，恐有大軍埋伏，于是坐下來認真思考：

我們是不是需要一個新的“命運劇本”？

2012年5月18日，答案揭曉，這就是——“518變革”。

如果用最俗氣的語言解釋這次變革，大概是：“不打了不打了，我認真做個平臺好不好？大家都來我的平臺上做生意，和氣生財！”

事不宜遲，說干就干。騰訊敞開自家“游樂場”的大門，第三方項目（游戲和應(yīng)用）如洪水一般入駐進來。

可開放也帶來了“甜蜜的煩惱”：

游樂場里的項目無邊無沿，逛一輩子也逛不完，游客一進來就直接蒙圈了——怎么才能找到我喜歡的項目呢？

有人提議：“你騰訊應(yīng)該了解自家用戶的喜好，別讓他們費時瞎逛，安排個導游，給他們推薦喜歡的項目不就完了嗎？

如此一來，不僅游客體驗更棒，咱各個項目也能收入更好啊！不讓你家的導游白忙活，你拉來客人消費，分你一點提成不就得了？！”

看出來了吧？這是一個黃金機會啊！

電光火石的時間窗口，又被湯道生牢牢抓住。他說服總辦，創(chuàng)建了“效果廣告”業(yè)務(wù)，這就是后來大名鼎鼎的廣告平臺——“廣點通”。

話說回來，廣點通這個“導游”怎么知道用戶喜歡什么呢？當然是靠大數(shù)據(jù)！沒錯，繞來繞去，重擔又落在了這幫造炮彈的老師傅身上。

這里敲黑板！判斷用戶喜好的“大數(shù)據(jù)”，和之前做運營的“大數(shù)據(jù)”可不太一樣：

剛才說的大數(shù)據(jù)主要是“賬目”，比如用戶買了什么，買了多少； 現(xiàn)在說的大數(shù)據(jù)，不僅包括賬目，還包括“行為日志”，比如大家都點擊了哪里，瀏覽了什么之類的。

問題是，行為數(shù)據(jù)可比賬目數(shù)據(jù)多多了（一個人可能點了2000下，瀏覽了50個游戲，最后才花了一次Q幣）。

所以，用“行為數(shù)據(jù)”造出來的炮彈，也比過去更重↓↓↓

這樣一來，原本用來算“賬目”的 TDW 有點撐不住了——“重型炮彈”的質(zhì)量開始不穩(wěn)定。

這讓騰訊很尷尬，質(zhì)量不好的炮彈是不敢用的，因為做廣告不是兒戲：

如果給一個人推薦他需要的東西，那是雪中送炭；如果給人推薦不相關(guān)甚至是反感的東西，那就是“后脖頸塞涼冰”。 一個廣告系統(tǒng)，如果不能把對人的理解和尊重放在第一位，將會引發(fā)災(zāi)難，你懂的。

可戰(zhàn)機不等人啊。。。新的時代，正在嗷嗷待哺。

2012年，技術(shù)大牛蔣杰加入騰訊，開始接手大數(shù)據(jù)團隊。

多說一句。蔣杰是北大博士，是我見過的少有的可以兼容“技術(shù)人的冰冷”和“知識分子溫度”的人。我一直覺得，騰訊當年選擇讓這樣一個人來照料“眾生”的數(shù)據(jù)，是一個聰明且飽含善意的決定。

蔣杰

話說當時，蔣杰在騰訊摸底一圈兒后，心里隱隱發(fā)涼：“騰訊的大數(shù)據(jù)技術(shù)，目測落后頂尖水平三年。”

再看當時的大數(shù)據(jù)團隊，雖然精兵強將，但人數(shù)也太少了。。。要圖進取，得先補充幾位殺伐果斷的大牛！

陳鵬就是被選中的牛，2012年夏天他加入騰訊。

陳鵬

陳鵬一來，蔣杰就火速安排他去解決一個特別微小而具體的問題：“圈人”。

啥是圈人？

打個比方，中哥開發(fā)了一個粵語游戲，想找廣點通幫忙推廣。

看調(diào)性，這個游戲估計會適合廣東省的喜歡棋牌類游戲的近半年在QQ上比較活躍的25-30歲的男性玩家。

你看，這句話里有五個限定條件，把同時符合這五個條件的人給“圈”出來，然后只給他們推薦，不就很靠譜嘛！

可問題是，僅僅找符合“近半年QQ活躍”這一個條件的人群，就需要把所有用戶六個月的在線時間都統(tǒng)計一遍。

這個計算量有多大，你感受一下。

俯瞰 TDW，它就像個數(shù)據(jù)的海洋，每“圈”一次人，就像拿一個漁網(wǎng)把整個大海給摟一遍，簡單的圈人需要幾個小時，復雜一點的得幾天。

等騰訊把人圈好了，我游戲的熱度都過去一多半了。。。

你看，“圈人”不容易吧？這背后要處理的，恰恰是個“規(guī)模性”難題。

老司機陳鵬拍拍胸脯：“我有辦法。待老夫在數(shù)倉之上，搭建一個‘數(shù)據(jù)分析引擎’！”

其實，數(shù)據(jù)分析引擎的核心原理也不是啥機密，就是在原有的數(shù)倉基礎(chǔ)上創(chuàng)建一系列“索引”。

就像咱們查字典一樣，要找哪個字，別直接翻，先查前面的目錄，不就效率更高么？！

只不過，做“大數(shù)據(jù)索引”可比做“字典目錄”難多了。

因為字典上的漢字永遠是那些，目錄八百年也不用變；可是用戶數(shù)據(jù)卻每分每秒都在更新，這意味著索引也要定期刷新。

但每刷新一次索引，都需要把所有數(shù)據(jù)重算一次，還是太浪費時間。

所以，陳鵬他們用了很大力氣改進技術(shù)，做了個可以“局部更新”的高級索引系統(tǒng)。

有了這層設(shè)計，就使得炮彈制造的速度大大加快↓↓↓

到這里，陳鵬還不滿意，此時的“分析引擎”操作起來還像“開飛機”那么復雜。

因為分析引擎不是給大數(shù)據(jù)團隊自己用的，而是給“炮手”（騰訊或其他公司的運營同學）用的。

為了讓大家用著順手，老師傅決定發(fā)明一套簡潔的界面，把駕駛難度降低到“開車”的程度。

最終，這個數(shù)據(jù)分析引擎被改成了“自動擋”：

比如像中哥這樣的普通人，學半個小時，就能通過拖拽之類的方法自己“圈人”； 圈好人之后，一按鍵就能推送“精準廣告”，跟美圖秀秀難度差不多。。。

這種傻瓜操作掀起一股颶風——各家公司不僅廣告效果看得明明白白，還能通過調(diào)整“圈人策略”來發(fā)揮自己的主觀能動性。在騰訊的平臺上，用戶越玩越嗨，商家自然盆滿缽滿。

由此，湯道生設(shè)想的“效果廣告”就像一個飛輪，由靜到動，由緩到快，勢不可擋地運轉(zhuǎn)起來。

也正是從這一刻開始，騰訊正式告別了“產(chǎn)品公司”的舊劇本，一個90度急轉(zhuǎn)方向盤，沖進了“平臺企業(yè)”的新劇本中↓↓↓

在2012年的財報中，騰訊強按激動的小手寫下一段話：

在社交網(wǎng)絡(luò)效果廣告方面，我們顯著受益于在社交網(wǎng)絡(luò)上推出的精準廣告系統(tǒng)，該系統(tǒng)廣受電子商務(wù)公司及應(yīng)用開發(fā)商等廣告客戶的歡迎。 由于曝光量增加及點擊率提升，社交網(wǎng)絡(luò)效果廣告已成為我們網(wǎng)絡(luò)廣告業(yè)務(wù)的重要收入來源。

這時，眾將才反應(yīng)過來，回頭看著蔣杰和大數(shù)據(jù)團隊，為他們“四兩撥千斤”的戰(zhàn)術(shù)熱烈鼓掌。

但蔣杰完全沒心思享受榮譽。

因為他知道，“騰訊大數(shù)據(jù)落后三年”的問題沒完全解決，九九八十一難沒湊夠，前路必定還有劫數(shù)。

這不，老師傅還沒來得及摸魚劃水，小船兒就被另一個巨浪掀到了半空。。。

這個巨浪，叫“天天酷跑”。

（五）要！我現(xiàn)在就要！

上歲數(shù)的淺友可能還記得《天天酷跑》。

這是天美工作室的老師傅做夢都會笑出來的佳作，在《王者榮耀》降臨前的世代，酷跑統(tǒng)治著人們的手機屏幕。

2013年秋天，這款游戲發(fā)行時，騰訊上上下下也是寄予厚望，“厚”到什么程度呢？游戲剛上線半小時，總辦就來問：“數(shù)據(jù)怎么樣啊？”

這個問號直接“砸穿幾層地板”，到了大數(shù)據(jù)團隊的頭上。

劉煜宏心想：“今天的數(shù)據(jù)，不是明早上班才能看到么？！”但一轉(zhuǎn)念，這樣跟老板說話，是不是有點。。。不妥。。。

其實，天天酷跑只是“冰山一角”，它已經(jīng)揭示了大數(shù)據(jù)系統(tǒng)無法逃避的又一難題： 實時性 。

大數(shù)據(jù)報表祖?zhèn)鞯牟僮骶褪恰懊刻煲凰恪?，但王安石老師說過：祖宗不足法啊！

彼時的互聯(lián)網(wǎng)戰(zhàn)場已經(jīng)白熱化，大家都殺紅了眼，每天填裝一次炮彈的節(jié)奏，顯然已經(jīng)不夠“炮手”打了呀。。。

這也恰恰是蔣杰揪心已久的辣個問題。

2013年，蔣杰已經(jīng)在拼命推動大家把數(shù)據(jù)變成每小時一算，甚至每分鐘一算。只不過，飯要一口口吃。當時的“炮彈制造”（報表生成）卡在了一個尷尬的技術(shù)細節(jié)上——火藥運輸（數(shù)據(jù)傳輸）。

咱們就直接拿天天酷跑來舉例吧：

用戶數(shù)據(jù)產(chǎn)生后，肯定先存在天天酷跑的服務(wù)器上； 天天酷跑需要把這堆數(shù)據(jù)復制到一個“中轉(zhuǎn)集群”里，中轉(zhuǎn)集群再復制到 TDW 里做大數(shù)據(jù)計算。 這么一“中轉(zhuǎn)”，就得中轉(zhuǎn)幾個小時。

生產(chǎn)炮彈五分鐘，運輸火藥五小時，這不開玩笑么。。。

可問題要怎么解決嘞？

應(yīng)該搞一個“運輸車隊”，讓那邊剛一產(chǎn)生“數(shù)據(jù)火藥”， 哪怕只有一條 ，也得火速搬過來用于炮彈生產(chǎn)。

這個車隊的學名就是“消息中間件”。

別看“車隊”聽起來原理簡單，做起來其實特別難。

難就難在大規(guī)模上。

你想想，如果只有幾輛車搬運數(shù)據(jù)，怎么都好說；但千萬輛車同時穿梭于大數(shù)據(jù)系統(tǒng)和業(yè)務(wù)系統(tǒng)之間，難免會有“途中翻車”（數(shù)據(jù)丟失）的情況，也會有“接洽不順利”（接口出問題）的情況。

這時，就必須有一個更高級的“車隊指揮部”能感知到一切，并且馬上調(diào)度，安排補救。

話說，當時開源社區(qū)里剛剛嶄露頭角的卡夫卡（Kafka）就是“消息中間件”，可老師傅試了幾次，Kafka 實在是太年輕，根本沒有“車隊指揮部”之類的設(shè)計。

老師傅只好參考 Kafka 的實現(xiàn)原理，開發(fā)了自己更完善的“數(shù)據(jù)車隊”，起名為 TDBank 。

聊起 TDBank 一戰(zhàn)，陳鵬充滿懷念。

如果上下游通暢，我可以保證數(shù)據(jù)秒級傳輸； 如果上下游接口出現(xiàn)問題，我還能保證數(shù)據(jù)在中間緩沖三個小時，不會有任何遺漏。這種高性能和高可靠，讓大數(shù)據(jù)團隊在全公司一戰(zhàn)成名！

他回憶。

不過事兒還沒完：這么大量的火藥被 TDBank 搬回 TDW 里，突然一下，負責造炮彈的“羊”（計算力）又不夠用了。

你可能會說，接著增加服務(wù)器不就行了？！

還不是這么簡單。

當時大數(shù)據(jù)系統(tǒng)底層的服務(wù)器數(shù)量已經(jīng)擴展到4400臺，幾乎到了極限。再多加機器的話，“放羊系統(tǒng)”就管不過來了。。。

危急時刻，蔣杰從騰訊搜索團隊“挖”來一位女俠，羅韓梅——她的獨門絕技恰恰是“放羊”。

蔣杰和羅韓梅之前沒有共事經(jīng)歷，但通過短暫的幾次開會，他發(fā)現(xiàn)羅韓梅是個非常講究實證、一絲不茍的技術(shù)人。

于是蔣杰做了個大膽的決定——把信任票投給羅韓梅，讓她自己決定新的“放羊系統(tǒng)”（調(diào)度系統(tǒng)）走什么技術(shù)路線。

回憶起這段，羅韓梅還是很感動。

羅韓梅

話說，羅韓梅之前在搜索團隊自研了一套很棒的調(diào)度系統(tǒng)，名叫 torca。如果把 torca 代碼直接搬到大數(shù)據(jù)團隊，可解燃眉之急。

但這兩年搜索團隊踩的坑，讓她意識到一個嚴重的問題——如果系統(tǒng)和開源社區(qū)不兼容，會耗費巨大的人力來維護，越往后發(fā)展成本越大；而且一旦隊員流失，再招新人，需要人家從頭學習這套東西，很難上手。

“總之，我要拋棄過去的包袱，選擇開源生態(tài)！”在認真講完40多頁PPT之后，羅韓梅給了蔣杰這個堅定的答案。

就這樣，她挽起袖子開始干：

首先，她在開源調(diào)度系統(tǒng) Yarn 之上，改進了的調(diào)度器——把調(diào)度性能提高了150倍； 然后，她又魔改一通，讓調(diào)度系統(tǒng)支持容器技術(shù)，這就相當于把“羊”先裝進了一個玻璃罐，再放進服務(wù)器——每個服務(wù)器上最多能塞進幾百只羊，調(diào)度起來也更省力。

這一整套系統(tǒng)，就叫 GaiaStack 。（Gaia 是希臘神話中的大地女神）

你看，羊已經(jīng)放在了玻璃罐里。

有了 GaiaStack，大數(shù)據(jù)集群的機器瞬間增加到了8800臺。用趙重慶的話說：“要不是機房地板的承重設(shè)計不夠，其實還能繼續(xù)增加。。?！?/p>

百萬只“羊”在容器里如潮漲落，蔚為壯觀。

在2014年，騰訊代表中國技術(shù)人做出了全球最大的大數(shù)據(jù)集群。

回到歷史現(xiàn)場，TDBank 的“火線搬運”和 GaiaStack 的“疾風調(diào)度”讓數(shù)據(jù)流動的節(jié)奏直線加速，報表從“天級”變成“小時級”，再從小時變成15分鐘，然后是5分鐘，3分鐘，1分鐘，5秒鐘，1秒鐘。。。

終于，數(shù)據(jù)炮彈像香腸一樣從產(chǎn)線上噴涌出來↓↓↓

這至少導致兩個史詩級的結(jié)果：

第一，廣告、運營同學面前的游戲從“Hard 模式”直接變成“無限彈藥模式”，只要他們能想出更好的“戰(zhàn)術(shù)”，就能不斷攻城略地。 第二，每一發(fā)炮彈打出去究竟有沒有命中目標，這個“落點”的數(shù)據(jù)也可以通過 TDBank 秒速傳回，用于校準下一發(fā)的“炮彈落點”。 如此循環(huán)，廣告、推薦就能迅速變得精準，運營越來越得心應(yīng)手。

2015年，在大數(shù)據(jù)老師傅的前赴后繼下，數(shù)據(jù)兵工廠的 “規(guī)模性” 和 “實時性” 兩大警報終于解除，系統(tǒng)正式升級為 第二代大數(shù)據(jù)平臺 。

它不再是按圖仿造的“漢陽造”，而是在開源框架下對核心模塊“自主研發(fā)”的綜合系統(tǒng)。

第二代大數(shù)據(jù)平臺示意圖

至此，“大數(shù)據(jù)落后三年”的帽子被拋進南海，蔣杰長舒一口氣，總算能給將士們一個交代。

此時他也終于可以騰出手，搞一點兒真正賽博朋克的武器了！

這，就是“精確制導導彈”。

（六）人工智能的烈焰

2015年，中國智能手機的銷量是4.3億臺。

人類文明經(jīng)過萬年跋涉，終于從“刀耕火種”邁進了“移動互聯(lián)網(wǎng)時代”。

那一年異象頻出：中關(guān)村掃碼一條街掃天掃地掃一切，各種App頭破血流地搶占手機的方寸屏幕。而在2015十大App榜單中，騰訊穩(wěn)坐半壁江山：微信、QQ、騰訊視頻、QQ瀏覽器、騰訊新聞。

而這些App的“靈魂”中，幾乎全部有“推薦模塊”——猜你喜歡什么視頻、新聞；也猜你可能對哪類產(chǎn)品感興趣，進而展示廣告。

注意，電腦充其量算個“家用電器”，而手機卻是個“人體器官”。

這個事實逼迫“推薦模塊”進行兇猛進化：不能再為“一類人”推薦，而要 為“一個人”推薦 。

就拿視頻推薦來說吧：騰訊視頻里有成千上萬個視頻資源，在你下滑的一瞬間（大概10毫秒內(nèi)），系統(tǒng)就必須找到你在這個瞬間最有可能喜歡的那一個。

勝負就在這閃電之間，刺激吧？

如果把針對一類人的大數(shù)據(jù)推薦說成“炮彈”，那么這種針對每個人的推薦，就像是在炮彈上加裝了“精確制導系統(tǒng)”的導彈↓↓↓

這個“精確制導系統(tǒng)”背后的核心技術(shù)，正是人工智能。

具體來說，它靠的是一個精巧的“人工智能模型”：

先對每條視頻的內(nèi)容進行理解； 再對每個人（ID賬號）背后的“社交關(guān)系”、“興趣愛好”、“歷史行為”等數(shù)據(jù)進行理解； 再結(jié)合當下的時間、熱點，甚至天氣情況之類的變量，把“人”和“內(nèi)容”進行匹配。

說起來，人工智能可是凝聚了人類的夢想和悲情，曾經(jīng)三落三起——2015年，正是人工智能史上第三次爆發(fā)的前夜。

這次人工智能之所以會爆發(fā)，恰恰是因為生產(chǎn)“模型”的方法變了——以前是靠人寫出來，現(xiàn)在是通過大量數(shù)據(jù)“自學成才”！

咋自學呢？

放大來看細節(jié)：

“人工智能訓練平臺”需要把所有用戶的參數(shù)都匯入一個大熔爐，然后通過和人腦類似的“神經(jīng)網(wǎng)絡(luò)”，找到這些參數(shù)之間的隱秘關(guān)系，才能鍛造出精準的模型↓↓↓

回到歷史現(xiàn)場，怎樣計算參數(shù)才能訓練出模型，這些 AI 論文都已經(jīng)明牌擺在老師傅的桌子上。

唯一的難題是：在工程上無法實現(xiàn)這么大量參數(shù)的交叉計算。

啥是交叉計算？

你看上面那張圖就能感受到——各個參數(shù)之間都有連線，意味著它們之間都要發(fā)生關(guān)系。

具體就拿 QQ 上的社交關(guān)系數(shù)據(jù)來說，總共有千億級別。這么多數(shù)據(jù)要相互計算，得到的結(jié)果再相互計算，如此重復多次，才能訓練出一個 AI 模型——不僅原始數(shù)據(jù)多，算法賊復雜，中間還會生成很多“額外參數(shù)”。

用傳統(tǒng)的 Hadoop 計算框架，恐怕一個月都算不明白。

這個時候的老師傅已經(jīng)“學精了”，習慣性地先敲敲開源界的門，問問他們有啥解決方案。

結(jié)果，失望而歸。

很不幸，騰訊老師傅是第一批用社交數(shù)據(jù)做推薦的人，也是第一批需要交叉計算如此大量數(shù)據(jù)的人——成為大數(shù)據(jù)的領(lǐng)先者，代價就是沒有現(xiàn)成的作業(yè)可以抄了。。。

劉煜宏和大數(shù)據(jù)團隊的幾位大牛坐在一起，商量解決辦法。這個場景，頗有幾分熟悉吧。。。

只不過這次，他們都成了“自研派”。

這個新框架的開發(fā)涉及到非常嚴肅的學術(shù)領(lǐng)域，大數(shù)據(jù)團隊需要“火力支援”。

蔣杰想到了自己的母校，于是聯(lián)系了北大計算機大牛崔斌教授，和騰訊成立了聯(lián)合實驗室，專門攻堅“參數(shù)交換”的問題。

一年后，他們祭出神器，這就是基于“參數(shù)服務(wù)器”的 AI 計算引擎—— Angel。

“參數(shù)服務(wù)器”的原理，用最簡答的話來解釋就是：

你計算的過程中不是有很多參數(shù)么？ 那我就搞一個“組長”專門存儲、備份、管理、分發(fā)參數(shù)；剩下的“組員”啥都不用操心，埋頭算數(shù)就好。

這么一分工，計算效率直線上升。

“千億級別的參數(shù)聯(lián)合訓練，以前根本不敢想，但有了 Angel，一個小時內(nèi)就能跑完一遍?！标慁i回憶。

就這樣，純自研的 Angel 當仁不讓地成為了騰訊第三代大數(shù)據(jù)平臺的核心模塊之一。

可想而知，一個如此精密的人工智能計算引擎，駕駛它的難度就不是“開飛機”，而是“開火箭”了。。。

有了之前“數(shù)據(jù)分析引擎”的成功經(jīng)驗，老師傅想到的第一件事兒就是：把它的駕駛難度降低成“開車”。

2016年，老師傅們在 Angel 引擎基礎(chǔ)上，搭建了一個容易上手的人工智能模型訓練平臺，起名叫做“太極平臺”。

太極果然了得。借用掌門馬保國老師的話說就是：啪的一聲，很快啊，騰訊各個業(yè)務(wù)的推薦模塊，都從“普通炮彈”升級成了“精確制導導彈”。

第三代大數(shù)據(jù)平臺示意圖

后來的故事證明，這次“全軍換裝”不要太及時。

2016年，阿法狗橫空出世，暴錘李世石——人工智能的賽道如煙花升空，照亮半個天際。

互聯(lián)網(wǎng)公司的混戰(zhàn)，瞬間從地面常規(guī)戰(zhàn)進入了“星球大戰(zhàn)”，及時祭出“精確制導導彈”的玩家瘋狂擴大戰(zhàn)果：

利用“智能系統(tǒng)”為每個人推薦不同商品和優(yōu)惠的拼多多、利用“個性推薦”開創(chuàng)了短視頻紀元的抖音，都是 AI 戰(zhàn)力的明證。

而在騰訊，AI 以更加潤物無聲的方式開花結(jié)果：

2017年，吃雞和王者榮耀雙雄火爆；2018年，騰訊視頻開始穩(wěn)坐國內(nèi)三大長視頻平臺之首；2019年，QQ音樂+酷狗音樂奪下國內(nèi)70%市場份額；2020年，騰訊廣告收入達到823億。

這些成績背后，對于內(nèi)容和用戶的“深度理解”功不可沒。

王者榮耀里用 AI 控制角色的“王者絕悟”，也是用太極平臺訓練出來的。

沒有一種成功是理所當然。

回到歷史的現(xiàn)場，騰訊正是在關(guān)鍵時刻跨過了 AI 底層計算能力 的門檻，才在這場生死時速的 大數(shù)據(jù)戰(zhàn)爭 里搶到進入下一個關(guān)卡的珍貴門票。

而在鴻溝之上驚險一躍的瞬間，企鵝俯瞰腳下深淵，盡是森森白骨。

那些在時代絞殺中沒有選對“命運劇本”的互聯(lián)網(wǎng)公司，那些因為服務(wù)于實體經(jīng)濟而錯過大數(shù)據(jù)浪潮的傳統(tǒng)企業(yè)，在數(shù)據(jù)已成為導彈的時代，卻依然只能揮舞著冷兵器抵擋拼殺，且戰(zhàn)且退。

可是，只有少數(shù)人勝出的時代，真的是最好的時代嗎？

對于已經(jīng)20歲的騰訊來說，這是一道如果不主動回答就必須被動回答的題目。

經(jīng)歷了歷次命運暴擊的騰訊深知，被動回答問題到底能有多“被動”。

于是，2018年9月，騰訊最高決策機構(gòu)“總辦”的14名成員在香港開會，大家全票通過，決定再次修改自己的“命運劇本”。

這就是“930變革”。

（七）戰(zhàn)爭與和平

借用我在里寫的一句話：當你步入壯年，你要為家里扛煤氣罐，修電燈泡，你要每天跑進風雨里賺回來真金白銀，你要讓父母妻兒獲得尊嚴和幸福。

如果還用一句俗話概括“930變革”，那就是：以后騰訊不止要服務(wù)“個人消費者”，還要服務(wù)“企業(yè)”。

既然“大數(shù)據(jù)能力”在過去幾年間幫助騰訊逾越了鴻溝，那么理應(yīng)推斷：大數(shù)據(jù)能力也可以幫助其他企業(yè)逾越鴻溝。

如此，服務(wù)企業(yè)的千鈞重擔，又有相當一部分落在了大數(shù)據(jù)團隊的肩上。

果然是天降大任啊。。。

沒辦法，穿著格子衫的老師傅也得出街見客戶。

那段時間，一絲不茍、辦事靠譜的羅韓梅暫停她的“放羊”事業(yè)，被抽調(diào)成為技術(shù)顧問，跟著騰訊云的同事奔跑于全國各個企業(yè)，幫助他們解答大數(shù)據(jù)領(lǐng)域的種種問題。

見識了傳統(tǒng)企業(yè)的狀況，她卻受到了萬點暴擊。

你想想看，騰訊這邊已經(jīng)開始用導彈打空間站了，一些企業(yè)還在糾結(jié)大刀怎么磨才能更鋒利。

羅韓梅說：你們應(yīng)該用炮！對方說：別廢話，想掙我們的錢就得教我們磨刀！

羅韓梅氣得想打人，但轉(zhuǎn)念一想天降大任，又像郭芙蓉一樣把使了一半的“排山倒海”給收了回去。

那段時間北京正在整治市容，一早出發(fā)去見客戶的羅韓梅連早點都買不到，到了客戶那氣都沒喘勻就開始“布道”，有些半信半疑的客戶甚至連口水也不給喝。。。

臥薪嘗膽的羅韓梅終究帶回來一些重要信息：

好消息是：經(jīng)過唐僧式的傳道，傳統(tǒng)企業(yè)已經(jīng)能夠接受“數(shù)據(jù)驅(qū)動”的理念了； 壞消息是：他們非常擔心被大公司“鎖定”——如果用了你的大數(shù)據(jù)平臺，我們所有業(yè)務(wù)數(shù)據(jù)都跑在你的“盒子”里，萬一哪天你要漲價，或者以此“要挾”我們，那可不行！

解除傳統(tǒng)企業(yè)擔心的方法就是： 把盒子打開， 使用開源生態(tài)搭建大數(shù)據(jù)系統(tǒng)。這樣企業(yè)一旦需要，就可以隨時扔掉騰訊這個“拐棍”。

老師傅笑了：要這么說，那選我們就對了呀??！我們是最開源的?。?！

從第一代大數(shù)據(jù)劉煜宏他們“辯論賽”中開源派的勝利，到第二代大數(shù)據(jù)羅韓梅關(guān)鍵時刻“壯士斷腕”轉(zhuǎn)投開源，當時歷史關(guān)頭向開源投下的信任票，冥冥中不都是為了這一天么？

唯一的瑕疵是，騰訊大數(shù)據(jù)系統(tǒng)在開源框架下，還有一些自研的模塊（比如 TDbank），正是這些“黑盒子”引發(fā)客戶的擔憂。

這咋辦？

把這些自研模塊也開源出去，不就得了！

這個決策，甚至都不是大數(shù)據(jù)團隊做出的，在“930變革”中，從最高負責人馬化騰、劉熾平到騰訊云與智慧產(chǎn)業(yè)群（CSIG）負責人湯道生和騰訊技術(shù)工程事業(yè)群（TEG）負責人盧山，都已經(jīng)協(xié)調(diào)一致，把“開源”定為了全騰訊的戰(zhàn)略。（有關(guān)這段故事，可以和相互印證）

開源，就像把系統(tǒng)從黑盒子里拿出來。

其實，天天在開源社區(qū)里摩擦的大數(shù)據(jù)團隊，早就理解了回饋開源社區(qū)的“百利而無一害”，已經(jīng)實踐很久了：

比如，在2014年，他們就把兼容 Oracle 語法的 TDW 開源了；在2017年，他們把第三代大數(shù)據(jù)平臺的核心引擎 Angel 也開源，2018年還進一步把 Angel 捐獻給了 Linux 基金會。

但這還遠遠不夠。

蔣杰動員眾將士：盡快做技術(shù)梳理，把代碼審計得漂漂亮亮，然后“應(yīng)開盡開”。

在2019年，大數(shù)據(jù)團隊一口氣又開源了四大平臺：“數(shù)據(jù)車隊”——TDBank 的核心搬運模塊 InLong、“放羊系統(tǒng)”——GaiaStack 的升級版 TKEStack、騰訊版的 PostgreSQL 數(shù)據(jù)庫數(shù)據(jù)庫——Tbase、Java 開發(fā)環(huán)境 OpenJDK 的騰訊版——Kona JDK。

每一個平臺都堪稱是支撐騰訊海量數(shù)據(jù)運轉(zhuǎn)的“定海神針”，直接標價“0元購”，白送給全世界。

開源社區(qū)曾經(jīng)幫助騰訊大數(shù)據(jù)一步步走到今天，我們理應(yīng)回饋開源社區(qū)；這和社會幫助騰訊走到今天，我們理應(yīng)回饋社會是一樣的道理。

蔣杰對我說。

2019年11月，蔣杰宣布大數(shù)據(jù)平臺資源調(diào)度系統(tǒng) TKE 和 數(shù)據(jù)庫 Tbase 對外開源。

算了一下，截止2023年初，騰訊大數(shù)據(jù)團隊開源的代碼已經(jīng)超過了1000萬行。

仔細看看，這哪里是1000萬行代碼，而是老師傅們十多年掉的1000萬根頭發(fā)啊。。。

有了開源的操作墊底，騰訊云再去跟各個企業(yè)聊合作，那就無比硬氣：

我們的核心系統(tǒng)，每一行代碼都可以在網(wǎng)上看到，真材實料任你審計； 如果你有足夠的經(jīng)驗和人才，甚至可以用這些開源代碼自己搭建大數(shù)據(jù)系統(tǒng)； 如果你還想接受騰訊服務(wù)，學習多年積累的數(shù)據(jù)經(jīng)驗，那就可以和騰訊云合作； 哪怕有一天我們不再合作，市面上也有大量的開源人才可以支撐你繼續(xù)前進！ 如此，你還怕被綁定嗎？

正所謂，1000萬行可以驗證的開源代碼，勝過商務(wù)團隊拍1000萬次胸脯。

由此，客戶名單開始慢慢變長：人社部、中國銀行、中國銀聯(lián)、國家電網(wǎng)、中央廣播電視總臺、三一重工、中國商飛、貴州茅臺、云南白藥、廣州地鐵等等重磅的政企機構(gòu)和大公司，都相繼成為騰訊大數(shù)據(jù)平臺的用戶。

騰訊大數(shù)據(jù)同時給我看了一下他們的“客戶墻”。

一個簡單的道理：沒有一棵參天大樹會兀自生長在貧瘠的土地上。

只有把技術(shù)的甘泉灌注在整片平原，才會孕育出恒久茂盛的森林。

自2020年之后，無論是騰訊、百度、阿里、字節(jié)跳動，都達成了默契，努力用自己的技術(shù)幫助其他行業(yè)，在這個終極目標上，他們并非敵手，而是友軍。也正是因為他們的努力，一片大數(shù)據(jù)森林正在中國緩慢而堅定地生長。

更讓他們感到欣喜的是，團隊的開源技術(shù)很快就走出國門，得到了全世界的認可。

例如美國電信巨頭 AT&T 選擇 Angel 來訓練他們的人工智能，歐洲航天局使用 TBase 來支撐他們的數(shù)據(jù)分析。

在我們的行話里，流行一個詞，叫 “中國式報表” 。 雖然大數(shù)據(jù)系統(tǒng)源自美國，是西方的東西，但是經(jīng)過我們多年的參與，在大數(shù)據(jù)技術(shù)中已經(jīng)融入了很多東方思維和中國人解決問題的思路。 把這些東西開源出去，影響人類的技術(shù)進程，意義也許更為深遠。

劉煜宏說。

他的這番話讓我感慨良多。

雖說技術(shù)無國界，但技術(shù)人有祖國。一個技術(shù)人的祖國，也許不只是他的國籍和他生活的土地，更是他所生長的文化中所透露出來的思維邏輯和行動哲學。

千萬行代碼雖然由英文寫就，但字里行間卻閃爍著技術(shù)人的中國自信。

這，也許就是“中國式現(xiàn)代化”所要抵達的終究化境。

（八）更廣闊的“命運劇本”

2023年，老師傅們比過去還要忙。

趙重慶正在帶隊搞一個“智能運維系統(tǒng)”。

一個故障出現(xiàn)，可以有一套智能系統(tǒng)自動分析“根因”在哪，然后從工具箱里選出合適的工具，直接修復故障；并且把這次事故作為學習資料訓練 AI，讓系統(tǒng)自己避免同樣坑踩兩次。

羅韓梅正在帶人研發(fā)一個叫做“峰巒”的“究極放羊系統(tǒng)”。

峰巒試圖把“在線業(yè)務(wù)處理”、“大數(shù)據(jù)離線計算”和“AI訓練”這些任務(wù)用一個統(tǒng)一的調(diào)度器進行調(diào)度，可以最大程度提高服務(wù)器的利用效率，降低每一個微觀比特的計算成本。

陳鵬正帶著大伙兒搞一個科幻的“自適應(yīng)計算框架”。

無論你想“分析”還是“圈人”還是“推薦”還是訓練 AI，不用在不同的平臺上操作，而是用一套標準語言來表達要求，大數(shù)據(jù)系統(tǒng)自動找到最適合的引擎給你跑，使得速度最快，效率最優(yōu)。

而蔣杰此刻最關(guān)心的，是把騰訊所有的“大數(shù)據(jù)”“AI”和“云計算”以統(tǒng)一的標準融合起來。

由于歷史原因，雖然大數(shù)據(jù)平臺上接入了騰訊的主要數(shù)據(jù)，但仍有一些業(yè)務(wù)團隊選擇在自己的“體內(nèi)”進行大數(shù)據(jù)計算；更有一些部門曾在公共大數(shù)據(jù)平臺上獨立建設(shè)自己的人工智能訓練平臺。

技術(shù)人總有自己的驕傲，但驕傲+驕傲，有時候就會相愛相殺。

過去幾年，蔣杰周旋在各個團隊之間，付出了巨大的代價才把人工智能底層訓練平臺全部統(tǒng)一到“太極平臺”上。

在他看來這些代價是值得的——只有統(tǒng)一平臺，才能勁兒往一處使，大大提高 AI 的訓練效果。

抬眼觀看，雖然平臺層已經(jīng)統(tǒng)一，但各個業(yè)務(wù)還在用自己的規(guī)范來使用數(shù)據(jù)、訓練 AI——這些上層技術(shù)路線的離散，仍舊阻礙著數(shù)據(jù)發(fā)揮極致的價值。

前路漫長。

蔣杰之所以執(zhí)拗地要做這件事，并不是為了自己，甚至不是為了騰訊，他希望給未來的技術(shù)世界留下一個穩(wěn)固的、沒有裂縫的、可以依賴的“云計算+大數(shù)據(jù)+人工智能”的磚石。

有了這樣的磚石，后輩們才有機會建造出更宏偉的宮殿。這一代技術(shù)人在漫漫時光長河里的努力，才不會被辜負。

“技術(shù)的統(tǒng)一，什么時候才能完成呢？”我問。

“可能還需要很久，我也說不好。但正是因為這件事艱難而且值得做，我才一直在這里啊。有一天如果做成了，我可能就‘下崗’了吧?！笔Y杰笑。

《孫子兵法》有云：“夫未戰(zhàn)而廟算勝者，得算多也，未戰(zhàn)而廟算不勝者，得算少也多。多算勝少算不勝，而況于無算乎？”

它的意思是說，開戰(zhàn)之前就料到自己能取勝的軍隊，是因為計劃縝密，計算周到；開戰(zhàn)之前就覺得夠嗆，是因為計劃得少，計算不周；多計算就會勝過少計算，何況不計算呢？

在我看來，圣人孫武如果能見到大數(shù)據(jù)系統(tǒng)，一定瞬間就愛上它—— 因為 “計算”跨越千年，仍是制勝法寶。

有趣的是，回望騰訊的幾段命運劇本，“計算”其實發(fā)生在兩個地方。

第一層計算，當然發(fā)生在大數(shù)據(jù)系統(tǒng)內(nèi)，燃燒的數(shù)據(jù)幫助騰訊攻城略地，幫助無數(shù)企業(yè)跨越人工智能的鴻溝，幫助我們的經(jīng)濟體在殘酷的國際競爭中立于不敗。

這是術(shù)。

第二層計算，發(fā)生在騰訊這群人的腦海里。在歷史的岔路口，權(quán)衡所有信息，動用妥協(xié)精神和坦誠面對錯誤的勇氣重寫自己的命運劇本，把潛在的危險扼殺在萌芽之中，才讓騰訊這群人劫波歷盡，仍能站在這里講述他們的故事。

這是道。

站在此刻向前看，騰訊第三版“命運劇本”才剛剛上路，結(jié)局未至，定論尚早。

但數(shù)據(jù)團隊這些人，卻穿越了十載迷霧，付出了真真切切的時光。

陳鵬回憶，最初的數(shù)據(jù)平臺部，后來幾經(jīng)輾轉(zhuǎn)，以各種形態(tài)分化出了騰訊的廣告工程部、數(shù)據(jù)庫研發(fā)部、機器學習平臺部。昔日的同事們，也散落在或遠或近的各個部門，或者加入其他公司，成為燎原星火，成為漫天星光。

他們從剛畢業(yè)的姑娘小伙，變成了如今的人母人父；從一臉清澈的學徒，成為了管理千百人團隊的大牛；從只關(guān)心方寸屏幕的“碼農(nóng)”變成了心中掛念時代命運的“士”。

這些具體的人的故事，和我們都真切體會過的時代變遷相互纏繞，才變得血肉豐盈。

時間在我們身上平等地流逝，我們曾經(jīng)見證了大數(shù)據(jù)計算炮彈穿梭于互聯(lián)網(wǎng)戰(zhàn)場，我們?nèi)杂袡C會見證大數(shù)據(jù)成為飛舞刀尖和旋轉(zhuǎn)齒輪中的潤滑劑，成為每個人手中松軟的面包和清香的花朵。

也許到那個時刻，數(shù)據(jù)的鐵甲才能變成溫柔的筆觸，寫出屬于這片土地的命運劇本。

延伸閱讀：

我們塑造了工具

爾后工具也在塑造我們

再自我介紹一下吧。我叫史中，是一個傾心故事的科技記者。我的日常是和各路大神聊天。如果想和我做朋友，可以搜索微信：shizhongmax。

哦對了，如果喜歡文章，請別吝惜你的“在看”或“分享”。讓有趣的靈魂有機會相遇，會是一件很美好的事情。

Thx with in Beijing