點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因?yàn)槭郎蠜]有同樣的成長(zhǎng)環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

0 前言

你在 LinkedIn 上收到一位老同事請(qǐng)求推薦的信息。你還在996，所以只是快速確認(rèn)了信息，卻忘記保存他們發(fā)的簡(jiǎn)歷。幾天后想起這段聊天，但又懶得滾動(dòng)，于是直接輸入關(guān)鍵詞搜索：

這簡(jiǎn)單操作正是 LinkedIn 消息搜索系統(tǒng)的全部功能。但為何這么流暢？幕后原理是啥？本文深入了解 LinkedIn 搜索架構(gòu)及。

1 搜索服務(wù)

搜索信息的一個(gè)核心理念：每條信息的搜索都僅限于用戶，即用戶只能在自己的收件箱中搜索。這點(diǎn)很重要，因?yàn)槲覀冎浪阉鲿r(shí)只需搜索用戶，可根據(jù)用戶創(chuàng)建搜索索引。

但Linkedin 的一大發(fā)現(xiàn)：并非所有用戶都用搜索功能。因此，他們沒有為每個(gè)用戶創(chuàng)建和更新索引，而只為主動(dòng)進(jìn)行搜索的用戶創(chuàng)建索引。這是為優(yōu)化成本和寫入性能，因?yàn)槿魹槊總€(gè)用戶存儲(chǔ)索引，索引就會(huì)存儲(chǔ)在磁盤，而為每個(gè)用戶創(chuàng)建內(nèi)存索引的成本會(huì)很高。在寫繁重的系統(tǒng)，將索引存儲(chǔ)在磁盤中將意味著從磁盤中讀取索引、解密信息、再次更新信息和索引、加密信息并再次將其存儲(chǔ)在磁盤中，導(dǎo)致寫效率極低。

2 RocksDB: 存儲(chǔ)信息

LinkedIn 使用高性能KV存儲(chǔ)庫(kù) RocksDB 存儲(chǔ)消息。每條信息的數(shù)據(jù)結(jié)構(gòu)都很簡(jiǎn)單，用鍵值對(duì)代表信息元數(shù)據(jù)：

• Key:MemberId | ConversationId | MessageId

• Value: The content of the message, 如："嗨，JavaEdge，你好嗎？能幫我介紹一下這個(gè)職位嗎？注意，Value是加密的

當(dāng)用戶的收件箱中收到一條新郵件時(shí)，它就會(huì)以新記錄的形式存儲(chǔ)在 RocksDB 中，包括成員 ID、對(duì)話 ID 和郵件 ID。如：

• member-id1|conversation-id1|message-id1

現(xiàn)在，為搜索消息，LinkedIn 使用 lucene，它使用倒排索引--本質(zhì)上是單詞（或標(biāo)記）到它們?cè)谖臋n（消息）中出現(xiàn)次數(shù)的映射。每條信息都被視為一個(gè)文檔。如

文件 1：

{
"message": "Hi Mayank, how are you? Can you refer me to this position?"
}

{
"message": "Hi Mayank, can you refer me to this new position?"
}

信息被標(biāo)記為單個(gè)單詞（忽略標(biāo)點(diǎn)符號(hào)并全部小寫）：

Document 1 Tokens:

["hi", "mayank", "how", "are", "you", "can", "you", "refer", "me", "to", "this", "position" ]

Document 2 Tokens: ["hi", "mayank", "can", "you", "refer", "me", "to", "this", "new", "position"]

步驟 2：建立反向索引

Lucene 通過將每個(gè)單詞（標(biāo)記）映射到它們出現(xiàn)的文檔來創(chuàng)建倒排索引。下面是這兩個(gè)文檔的索引：

"hi "出現(xiàn)在兩份文件中（信息-id-1 和信息-id-2）。它在兩份信息中都位于位置 1。

當(dāng)用戶搜索 "refer "一詞時(shí)，系統(tǒng)將

1. 在倒排索引中查找 "refer"。

2. 發(fā)現(xiàn)它分別出現(xiàn)在信息-id-1 和信息-id-2 的第 8 和第 6 位。

3. 然后，系統(tǒng)就能從這兩份文件中快速檢索出相關(guān)信息。

LinkedIn 實(shí)施的一項(xiàng)重要性能優(yōu)化是將索引存儲(chǔ)在內(nèi)存中，而不是磁盤上。這對(duì)性能至關(guān)重要，因?yàn)閷⑺饕鎯?chǔ)在內(nèi)存中可以加快搜索結(jié)果的速度，最大限度地減少延遲。當(dāng)提出搜索請(qǐng)求時(shí)，系統(tǒng)會(huì)快速掃描內(nèi)存中的索引并返回結(jié)果。

4 咋決定何時(shí)創(chuàng)建索引？

LinkedIn 不會(huì)自動(dòng)為所有用戶創(chuàng)建索引。相反，它會(huì)在有搜索請(qǐng)求時(shí)觸發(fā)索引創(chuàng)建。具體操作如下：

搜索請(qǐng)求：當(dāng)用戶提交搜索請(qǐng)求時(shí)，系統(tǒng)會(huì)對(duì) RocksDB 中的 MemberId 進(jìn)行前綴掃描。這將檢索與該用戶相關(guān)的所有信息。

索引在系統(tǒng)中的多個(gè)節(jié)點(diǎn)上進(jìn)行分區(qū)，分區(qū)的依據(jù)是 MemberId 和 DocumentId。這樣可以確保不會(huì)有任何一個(gè)節(jié)點(diǎn)因?yàn)閬碜阅硞€(gè)用戶的大量信息而不堪重負(fù)。

為此，有一個(gè)協(xié)調(diào)器節(jié)點(diǎn)作為所有搜索查詢的入口。協(xié)調(diào)器節(jié)點(diǎn)將搜索查詢發(fā)送到各個(gè)節(jié)點(diǎn)，收集搜索結(jié)果，并根據(jù)相關(guān)性對(duì)搜索結(jié)果進(jìn)行排序，然后將最終結(jié)果發(fā)回給用戶。

6 使用 Zookeeper 進(jìn)行節(jié)點(diǎn)協(xié)調(diào)

LinkedIn 依靠?jī)?nèi)部服務(wù) D2（一種分布式協(xié)調(diào)服務(wù)）來維護(hù)系統(tǒng)中的節(jié)點(diǎn)信息。D2 幫助協(xié)調(diào)節(jié)點(diǎn)確定哪些節(jié)點(diǎn)應(yīng)該處理搜索請(qǐng)求，確保查詢被發(fā)送到正確的節(jié)點(diǎn)。

此外，LinkedIn 還采用了粘性路由，這意味著針對(duì)特定成員的所有搜索請(qǐng)求都會(huì)路由到同一個(gè)副本。這可以確保搜索結(jié)果的一致性，并防止在多個(gè)副本上重建索引，從而提高性能和一致性。

7 Conclusion: 結(jié)論

我們研究了 Linkedin 所做的一些巧妙的設(shè)計(jì)決定，這些決定不僅幫助他們節(jié)省了搜索時(shí)間，還幫助他們降低了基礎(chǔ)設(shè)施的成本。他們實(shí)施的內(nèi)部搜索解決方案滿足了他們的需求。

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

★ 作者簡(jiǎn)介：魔都架構(gòu)師，多家大廠后端一線研發(fā)經(jīng)驗(yàn)，在分布式系統(tǒng)設(shè)計(jì)、數(shù)據(jù)平臺(tái)架構(gòu)和AI應(yīng)用開發(fā)等領(lǐng)域都有豐富實(shí)踐經(jīng)驗(yàn)。 各大技術(shù)社區(qū)頭部專家博主。具有豐富的引領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn)，深厚業(yè)務(wù)架構(gòu)和解決方案的積累。 負(fù)責(zé)： 中央/分銷預(yù)訂系統(tǒng)性能優(yōu)化 活動(dòng)&券等營(yíng)銷中臺(tái)建設(shè) 交易平臺(tái)及數(shù)據(jù)中臺(tái)等架構(gòu)和開發(fā)設(shè)計(jì) 車聯(lián)網(wǎng)核心平臺(tái)-物聯(lián)網(wǎng)連接平臺(tái)、大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及優(yōu)化 LLM Agent應(yīng)用開發(fā) 區(qū)塊鏈應(yīng)用開發(fā) 大數(shù)據(jù)開發(fā)挖掘經(jīng)驗(yàn) 推薦系統(tǒng)項(xiàng)目 目前主攻市級(jí)軟件項(xiàng)目設(shè)計(jì)、構(gòu)建服務(wù)全社會(huì)的應(yīng)用系統(tǒng)。 ”

參考：

• 編程嚴(yán)選網(wǎng)

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全生態(tài)相關(guān)技術(shù)文章、視頻教程資源、熱點(diǎn)資訊等，全站資源免費(fèi)學(xué)習(xí)，快來看看吧~ 【編程嚴(yán)選】星球

歡迎長(zhǎng)按圖片加好友，我會(huì)第一時(shí)間和你分享軟件行業(yè)趨勢(shì)，面試資源，學(xué)習(xí)方法等等。

添加好友備注【技術(shù)群交流】拉你進(jìn)技術(shù)交流群

關(guān)注公眾號(hào)后，在后臺(tái)私信：

• 更多教程資源應(yīng)有盡有，歡迎關(guān)注并加技術(shù)交流群，慢慢獲取

• 為避免大量資源被收藏白嫖而浪費(fèi)各自精力，以上資源領(lǐng)取分別需要收取1元門檻費(fèi)！