我花了十多年時(shí)間逢人就說(shuō)"S3不是文件系統(tǒng)"——回頭想想，這確實(shí)是個(gè)挺奇怪的開(kāi)場(chǎng)白。所以當(dāng)AWS周二正式推出S3 Files（允許將S3存儲(chǔ)桶掛載為NFS共享）時(shí)，我做了一件任何理性人都會(huì)做的事：?jiǎn)?dòng)一個(gè)EC2實(shí)例，然后開(kāi)始嘗試把它搞崩。

在和Andy Warfield通話之前，我大概有四個(gè)小時(shí)的時(shí)間。Andy是AWS的VP兼杰出工程師，也是實(shí)際主導(dǎo)S3工程團(tuán)隊(duì)的人（不管他承不承認(rèn)），與他同行的還有S3團(tuán)隊(duì)的部分成員。我想帶著數(shù)據(jù)去，而不是帶著觀點(diǎn)。觀點(diǎn)不值錢(qián)，關(guān)于存儲(chǔ)的觀點(diǎn)更是危險(xiǎn)，而我關(guān)于存儲(chǔ)的觀點(diǎn)，說(shuō)起來(lái)都是笑料。

好消息是：核心產(chǎn)品相當(dāng)扎實(shí)。我精心設(shè)計(jì)了十個(gè)并發(fā)沖突場(chǎng)景——同時(shí)通過(guò)NFS掛載和S3 API向同一個(gè)鍵寫(xiě)入——結(jié)果S3每一次都贏了，兩秒以內(nèi)完成收斂，沒(méi)有出現(xiàn)任何腦裂狀態(tài)。對(duì)于那些曾經(jīng)不幸依賴過(guò)s3fs-fuse或goofys等社區(qū)FUSE驅(qū)動(dòng)的人來(lái)說(shuō)，這兩個(gè)工具歷來(lái)的"沖突解決方案"不是數(shù)據(jù)損壞就是一臉茫然。相比之下，這才是真正經(jīng)得起考驗(yàn)的工程實(shí)力。

S3 Files基于EFS基礎(chǔ)設(shè)施構(gòu)建，收費(fèi)標(biāo)準(zhǔn)也與EFS相同（存儲(chǔ){zhiding_content_info_22}.30/GB，讀取{zhiding_content_info_22}.03/GB，寫(xiě)入{zhiding_content_info_22}.06/GB），這個(gè)價(jià)格對(duì)齊是有意為之的。團(tuán)隊(duì)告訴我："在兩者之間提供更有利的經(jīng)濟(jì)性，那就不尋常了。"關(guān)鍵在于，你只需按實(shí)際落在文件系統(tǒng)上的那部分熱數(shù)據(jù)付費(fèi)，其余數(shù)據(jù)仍以{zhiding_content_info_22}.023/GB的價(jià)格保存在S3中。掛載一個(gè)PB級(jí)存儲(chǔ)桶，活躍使用其中1TB，按實(shí)際用量付費(fèi)即可。

團(tuán)隊(duì)花了數(shù)月時(shí)間，試圖讓文件與對(duì)象之間的邊界徹底隱形，最終卻意識(shí)到：保留這道邊界，才是正確的設(shè)計(jì)。一位工程師告訴我："我們一直在試圖兼顧兩者的最低公分母。"文件系統(tǒng)客戶端每10毫秒就在修改對(duì)象？這在NFS里完全正常，但對(duì)S3存儲(chǔ)桶來(lái)說(shuō)就是噩夢(mèng)。于是他們將兩個(gè)世界分開(kāi)，通過(guò)自動(dòng)同步相互關(guān)聯(lián)。S3始終是權(quán)威數(shù)據(jù)存儲(chǔ)，文件系統(tǒng)只是一層視圖，而不是副本。

三種速度，一套產(chǎn)品

我測(cè)量到了三種截然不同的同步速度，這恰好揭示了其架構(gòu)邏輯。來(lái)自文件系統(tǒng)的寫(xiě)入會(huì)在固定的60秒窗口內(nèi)聚合，然后以單次PUT操作提交到S3。通過(guò)S3 API新建的文件，大約30秒后會(huì)出現(xiàn)在NFS掛載點(diǎn)上。而文件系統(tǒng)已知文件的更新傳播速度則為1.8秒——比新文件創(chuàng)建快了整整15倍。

當(dāng)我把這些數(shù)字拿給團(tuán)隊(duì)看時(shí)，他們確認(rèn)60秒窗口目前是固定的，但也暗示未來(lái)可能會(huì)變?yōu)樽赃m應(yīng)（如果你在意這一點(diǎn)，不妨去找你的AWS客戶經(jīng)理施壓）。30秒的數(shù)字只是S3事件傳播延遲，而1.8秒的更新速度，則是文件系統(tǒng)讓已緩存的inode失效，走的是一條快得多的路徑。

超過(guò)128KB的讀取（默認(rèn)值，可配置為低至0——不是說(shuō)你應(yīng)該這么做，但你絕對(duì)可以……）會(huì)完全繞過(guò)文件系統(tǒng)，直接從S3流式讀取，完全不收取S3 Files的費(fèi)用。這個(gè)操作讓我想起了亞馬遜以客戶為中心的黃金年代。繞過(guò)路徑目前每客戶端支持約3 GB/s的并行GET速度。

然后我開(kāi)始"發(fā)揮創(chuàng)意"了。

我創(chuàng)建了十個(gè)帶邊緣情況鍵名的S3對(duì)象：末尾帶斜杠的、雙斜杠的、路徑遍歷模式的、256字符路徑組件的、只叫"."和".."的、帶表情符號(hào)的，還有EICAR字符串——就是想看看會(huì)發(fā)生什么。然后我掛載存儲(chǔ)桶，執(zhí)行了ls命令。

其中六個(gè)消失了�？蛻舳藳](méi)有報(bào)錯(cuò)，日志里也什么都沒(méi)有。它們?nèi)匀淮嬖谟赟3中——只是從文件系統(tǒng)視角完全看不見(jiàn)。

我最初對(duì)此有所誤判，但事實(shí)證明，CloudWatch里確實(shí)存在一個(gè)對(duì)應(yīng)指標(biāo)：AWS/S3/Files命名空間下的ImportFailures，按FileSystemId維度區(qū)分。對(duì)我所有的不兼容鍵，它都正確觸發(fā)了。但客戶端側(cè)完全沒(méi)有任何提示——ls沒(méi)有報(bào)錯(cuò)，實(shí)例上沒(méi)有日志，NFS響應(yīng)里什么都沒(méi)有。你必須主動(dòng)去找一個(gè)你從來(lái)沒(méi)聽(tīng)說(shuō)過(guò)的CloudWatch命名空間中的某個(gè)特定指標(biāo)，而這個(gè)服務(wù)剛剛才上線。更完善的可觀測(cè)性已在路線圖上，包括通過(guò)CloudWatch日志直接指向未成功導(dǎo)入的具體對(duì)象。但目前，如果你掛載的存儲(chǔ)桶多年來(lái)積累了各種"創(chuàng)意"鍵名，其中一部分對(duì)象將無(wú)法可見(jiàn)，而你唯一的信號(hào)是一個(gè)沒(méi)人會(huì)主動(dòng)去查的CloudWatch計(jì)數(shù)器。

刪除傳播的結(jié)果則相當(dāng)詭異：通過(guò)S3刪除的文件，在NFS掛載點(diǎn)上仍可讀取6秒或18秒，兩者之間沒(méi)有任何中間值——呈現(xiàn)出極為干凈的雙峰分布。"這確實(shí)很有意思，我不會(huì)預(yù)料到這種情況，"Warfield說(shuō)道。團(tuán)隊(duì)?wèi)岩蛇@是S3內(nèi)部刪除通知機(jī)制的一個(gè)表現(xiàn)。從實(shí)際角度來(lái)看，這意味著你可以在已刪除文件被徹底清除前的18秒內(nèi)，讀到完整有效的內(nèi)容。不算理想，但也不是災(zāi)難性的，只是值得知道。

通過(guò)訪問(wèn)點(diǎn)訪問(wèn)文件時(shí)，如果S3贏得了沖突，會(huì)產(chǎn)生一個(gè)明顯的陷阱。由于我的測(cè)試方式，我直接踩了進(jìn)去。通過(guò)API創(chuàng)建的S3對(duì)象不攜帶POSIX所有權(quán)元數(shù)據(jù)，因此導(dǎo)入的文件默認(rèn)歸屬為root:root，權(quán)限為0644。如果你的訪問(wèn)點(diǎn)強(qiáng)制使用不同的UID，你可以讀取該文件，但無(wú)法再寫(xiě)入——權(quán)限不匹配。"這其實(shí)不是我預(yù)期的行為，"一位工程師告訴我。兩個(gè)系統(tǒng)各自都沒(méi)有問(wèn)題，是兩者的組合產(chǎn)生了問(wèn)題。團(tuán)隊(duì)正在研究解決方案。

此外，文檔中說(shuō)沖突的文件系統(tǒng)版本會(huì)被放入lost+found目錄。確實(shí)如此——目錄名為.s3files-lost+found-，位于真實(shí)的文件系統(tǒng)根目錄。但如果你通過(guò)一個(gè)限定在某個(gè)子目錄的訪問(wèn)點(diǎn)掛載，就看不到這個(gè)目錄。這是訪問(wèn)點(diǎn)的工作原理：它限制了你的視圖范圍，這意味著你創(chuàng)建沖突的那個(gè)掛載點(diǎn)，反而看不到?jīng)_突產(chǎn)生的痕跡。團(tuán)隊(duì)同意文檔需要明確說(shuō)明這一點(diǎn)，或許在你讀到這篇文章時(shí)，相關(guān)說(shuō)明已經(jīng)補(bǔ)充完畢。

AWS開(kāi)源FUSE驅(qū)動(dòng)Mountpoint for S3并沒(méi)有被放棄，而是被定位為面向不同場(chǎng)景的不同工具。Mountpoint適合大文件高吞吐場(chǎng)景，不支持的操作會(huì)快速失敗，設(shè)計(jì)如此。S3 Files則面向一切需要真正NFS接口的場(chǎng)景。讀取繞過(guò)技術(shù)實(shí)際上正是從構(gòu)建Mountpoint的經(jīng)驗(yàn)中汲取而來(lái)，這是一段不錯(cuò)的工程傳承。

AWS文件與對(duì)象存儲(chǔ)服務(wù)總經(jīng)理Ed Naim描繪了一個(gè)比本次發(fā)布更有野心的愿景。他認(rèn)為S3 Files將演變?yōu)閿?shù)據(jù)管道中的臨時(shí)文件系統(tǒng)視圖——為任務(wù)期間臨時(shí)創(chuàng)建S3數(shù)據(jù)的文件視圖，完成工作后將特定變更同步回去，然后銷(xiāo)毀視圖。以API驅(qū)動(dòng)的同步控制，而非當(dāng)前自動(dòng)的60秒推送，已在路線圖上。這是一個(gè)和"把存儲(chǔ)桶掛成NAS"相當(dāng)不同的產(chǎn)品形態(tài)。作為一個(gè)老派系統(tǒng)管理員，對(duì)于這個(gè)我眼中全新而令人不安的使用場(chǎng)景，我內(nèi)心充滿了莫名的抵觸。

S3 如今已支持對(duì)象、文件、表、向量和高性能計(jì)算。我問(wèn)接下來(lái)還會(huì)有什么。他們的回答我完全沒(méi)聽(tīng)進(jìn)去，只是在筆記上寫(xiě)下了"數(shù)據(jù)庫(kù)"兩個(gè)字，四周還畫(huà)了幾顆心。只要你用得足夠歪，什么都能是數(shù)據(jù)庫(kù)。

我問(wèn)他，我是不是該停止說(shuō)"S3不是文件系統(tǒng)"了。"不用，"他說(shuō)，"S3不是文件系統(tǒng)，但S3 Files在它上面給了你一個(gè)文件接口。"

我說(shuō)了十多年"S3不是文件系統(tǒng)"。結(jié)果證明，我一直都是對(duì)的——AWS只是決定不再抗?fàn)�，而是在前面架了一個(gè)真正的文件系統(tǒng)。

Q&A

Q1：S3 Files和傳統(tǒng)的S3有什么區(qū)別？

A：S3 Files允許將S3存儲(chǔ)桶掛載為NFS共享，提供真正的文件系統(tǒng)接口，而傳統(tǒng)S3只支持對(duì)象存儲(chǔ)API。S3 Files基于EFS基礎(chǔ)設(shè)施，存儲(chǔ)計(jì)費(fèi){zhiding_content_info_22}.30/GB，讀取{zhiding_content_info_22}.03/GB，寫(xiě)入{zhiding_content_info_22}.06/GB。未被文件系統(tǒng)活躍使用的數(shù)據(jù)仍以{zhiding_content_info_22}.023/GB存儲(chǔ)在S3中。S3依然是權(quán)威數(shù)據(jù)存儲(chǔ)，文件系統(tǒng)只是其上的一層視圖，兩者通過(guò)自動(dòng)同步保持關(guān)聯(lián)。

Q2：S3 Files的同步延遲是多少？

A：S3 Files有三種同步速度：文件系統(tǒng)寫(xiě)入會(huì)在固定60秒窗口內(nèi)聚合后提交到S3；通過(guò)S3 API新建的文件約30秒后出現(xiàn)在NFS掛載點(diǎn)；文件系統(tǒng)已知文件的更新傳播約1.8秒，比新文件創(chuàng)建快約15倍。此外，超過(guò)128KB的讀取會(huì)直接從S3流式讀取，繞過(guò)文件系統(tǒng)層，不收取額外費(fèi)用，速度約3 GB/s。

Q3：S3 Files有哪些已知問(wèn)題需要注意？

A：目前已知幾個(gè)問(wèn)題：一是帶特殊字符的鍵名對(duì)象（如末尾斜杠、路徑遍歷等）在文件系統(tǒng)視圖中不可見(jiàn)，且客戶端無(wú)任何報(bào)錯(cuò)提示，只能通過(guò)CloudWatch的ImportFailures指標(biāo)發(fā)現(xiàn)；二是通過(guò)S3刪除的文件在NFS掛載點(diǎn)上仍可讀取最長(zhǎng)18秒；三是通過(guò)訪問(wèn)點(diǎn)訪問(wèn)時(shí)，若文件缺少POSIX元數(shù)據(jù)，可能出現(xiàn)權(quán)限不匹配導(dǎo)致無(wú)法寫(xiě)入的問(wèn)題；四是沖突文件歸入的lost+found目錄在通過(guò)訪問(wèn)點(diǎn)掛載時(shí)不可見(jiàn)。