ceph
官方網站: http://docs.ceph.org.cn/
簡單介紹:
Ceph是一個開源的分佈存儲系統,同時提供對象存儲、塊存儲和文件存儲。linux內核2.6.34將ceph加入到內核中,紅帽基於ceph出了redhat ceph storage.
支持TB級存儲
支持高可用、容災備份(當然了,這是存儲的常見功能)
支持上百節點的負載均衡
系統架構:
OpenStack Swift
官方網站:https://docs.openstack.org/swift/latest/
簡單介紹:
OpenStack的存儲項目,提供了彈性可伸縮、高可用的分佈式對象存儲服務,適合存儲大規模非結構化數據。作為一個開源的雲平臺,本身的存儲系統制約著平臺的發展,所以swift在可靠性、性能上更加優秀。
系統架構:
Swift 採用完全對稱、面向資源的分佈式系統架構設計,所有組件都可擴展,避免因單點失效而擴散並影響整個系統運轉;通信方式採用非阻塞式 I/O 模式,提高了系統吞吐和響應能力。
HDFS
官方網站:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
簡單介紹:
HDFS全稱是Hadoop distributed file system,是一個用java語言開發的分佈式文件系統,有很好的伸縮性,支持10億+的文件,上百PB數據,上千節點的集群。HDFS設計目標是==支持海量數據的批量計算==,而不是直接與用戶做交互式操作。
HDFS有很多特點:
保存多個副本,且提供容錯機制,副本丟失或宕機自動恢復。默認存3份。
運行在廉價的機器上。
適合大數據的處理。多大?多小?HDFS默認會將文件分割成block,64M為1個block。然後將block按鍵值對存儲在HDFS上,並將鍵值對的映射存到內存中。如果小文件太多,那內存的負擔會很重。
GlusterFS
官方網站:https://www.gluster.org/
簡單介紹:
GlusterFS是一個開源的分佈式文件系統,可支持PB級數據量和幾千個客戶端,沒有元數據服務器。紅帽2011年花1.36億$購買了GlusterFS,基於GlusterFS發佈了一個商業存儲系統。
外部架構:
內部架構:
minio
官方網站:https://www.minio.io/
minio是用go語言開發的一個分佈式對象存儲系統,提供與Amazon S3兼容的API。它與其它分佈式存儲系統的特色在 於簡單、輕量級,對開發者友好,認為存儲應該是一個開發問題而不是一個運維問題。minio不但支持界面操作,還支持java、python等接口操作文件。
數據對比
<table><tbody>閱讀更多 軟件測試 的文章