主流的三種分佈式存儲文件系統
主流的3種分佈式存儲文件系統 存儲架構分兩種，一種是傳統存儲陣列架構，另一種就是本文將要重點介紹的分佈式存儲架構。進入大數據時代，隨著數據量的飛速增加，企業對於數據存儲的可擴展性不斷提出要求，而具有擴展性強、價格低廉特點的分佈式存儲系統則漸漸成為眾多企業的選擇。可以說，得益於大數據的繁盛發展，分佈式存儲架構在近幾年中得到了前所未有的關注。 當前市場上，比較主流的3種分佈式存儲文件系統，分別有AFS、GFS、Lustre。它們基本都有一個共通點——全局名字空間、緩存一致性、安全性、可用性和可擴展性。 二、3種分佈式存儲文件系統的各自特點 1.AFS 由卡內基美隆大學最初設計開發的AFS，目前已經相當成熟，用於研究和部分大型網絡中。AFS是AndrewFileSystem的簡稱，它的主要組建包括Cells、AFSclients、基本存儲單元Volumes、AFSservers和Volumereplication。 擁有良好可擴展性的AFS，能夠為客戶端帶來性能的提升和可用性的提高。AFS將文件系統的可擴展性放在了設計和實踐的首要位置，因此AFS擁有很好的擴展性，能夠輕鬆支持數百個節點，甚至數千個節點的分佈式環境。它實現的是模塊化的，所以並不要求在每臺服務器上運行所有服務器進程。 但值得一提的是，AFS的缺點在於管理員界面友好性不足，需要更多的專業知識來支持。
2.GFS 被稱為谷歌文件系統的GFS（GoogleFileSystem），是用以實現非結構化數據的主要技術和文件系統。它的性能、可擴展性、可靠性和可用性都受到了肯定。它主要運行在大量運行Linux系統的普通機器上，能大大降低它的硬件成本。 文件的大小，一直是文件系統要考慮的問題。對於任何一種文件系統，成千上萬的幾KB的系統很容易壓死內存。所以，對於大型的文件，管理要高效，對於小型的文件，也需要支持，但是並沒有進行優化。在GFS中，chunkserver的大小被固定為64MB，這樣的塊規模比一般的文件系統的塊規模要大得多，可以減少元數據metadata的開銷，減少Master的交互。但是，太大的塊規模也會產生內部碎片，或者同一個chunk中存在多個小文件可能會產生訪問熱點。
3.QKFile qkf是qkfile項目的燃料，qkfile項目是一個全球性的公共分佈式文件系統，可以給網盤、雲存儲、短視頻、圖片、cdn等領域提供可靠的文件存儲分發服務，現在文件存儲行業的市場規模是千億美元級別，qkfile項目就是瞄準這個市場而推出的。未來所有的app、網站都可以使用qkfile項目提供的分佈式文件系統，存儲、分發數據，大家聊天發的圖片，朋友圈發的視頻，都可以使用qkfile。關注我，科普不容錯過
閱讀更多 速凍開年飯 的文章
