業界非常流行的非結構化數據存儲方案介紹

ceph

官方網站:

http://docs.ceph.org.cn/

簡單介紹:

Ceph是一個開源的分佈存儲系統,同時提供對象存儲、塊存儲和文件存儲。linux內核2.6.34將ceph加入到內核中,紅帽基於ceph出了redhat ceph storage.

  • 支持TB級存儲

  • 支持高可用、容災備份(當然了,這是存儲的常見功能)

  • 支持上百節點的負載均衡

系統架構:

業界非常流行的非結構化數據存儲方案介紹

OpenStack Swift

官方網站:https://docs.openstack.org/swift/latest/

簡單介紹:

OpenStack的存儲項目,提供了彈性可伸縮、高可用的分佈式對象存儲服務,適合存儲大規模非結構化數據。作為一個開源的雲平臺,本身的存儲系統制約著平臺的發展,所以swift在可靠性、性能上更加優秀。

系統架構:

Swift 採用完全對稱、面向資源的分佈式系統架構設計,所有組件都可擴展,避免因單點失效而擴散並影響整個系統運轉;通信方式採用非阻塞式 I/O 模式,提高了系統吞吐和響應能力。

業界非常流行的非結構化數據存儲方案介紹

HDFS

官方網站:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

簡單介紹:

HDFS全稱是Hadoop distributed file system,是一個用java語言開發的分佈式文件系統,有很好的伸縮性,支持10億+的文件,上百PB數據,上千節點的集群。HDFS設計目標是==支持海量數據的批量計算==,而不是直接與用戶做交互式操作。

HDFS有很多特點:

  • 保存多個副本,且提供容錯機制,副本丟失或宕機自動恢復。默認存3份。

  • 運行在廉價的機器上。

  • 適合大數據的處理。多大?多小?HDFS默認會將文件分割成block,64M為1個block。然後將block按鍵值對存儲在HDFS上,並將鍵值對的映射存到內存中。如果小文件太多,那內存的負擔會很重。

業界非常流行的非結構化數據存儲方案介紹

GlusterFS

官方網站:https://www.gluster.org/

業界非常流行的非結構化數據存儲方案介紹

簡單介紹:

GlusterFS是一個開源的分佈式文件系統,可支持PB級數據量和幾千個客戶端,沒有元數據服務器。紅帽2011年花1.36億$購買了GlusterFS,基於GlusterFS發佈了一個商業存儲系統。

外部架構:

業界非常流行的非結構化數據存儲方案介紹

內部架構:

業界非常流行的非結構化數據存儲方案介紹

minio

官方網站:https://www.minio.io/

minio是用go語言開發的一個分佈式對象存儲系統,提供與Amazon S3兼容的API。它與其它分佈式存儲系統的特色在 於簡單、輕量級,對開發者友好,認為存儲應該是一個開發問題而不是一個運維問題。minio不但支持界面操作,還支持java、python等接口操作文件。

業界非常流行的非結構化數據存儲方案介紹

minio登錄界面

數據對比

<table><tbody>特性cephminioswifthbase/hdfs開發語言
Cgopythonjava數據冗餘副本,糾刪碼Reed-Solomon code副本副本一致性強一致性強一致最終一致最終一致動態擴展HASH不支持動態加節點一致性hash?
中心節點對象存儲無中心,cephFS有元數據服務中心點無中心無中心nameNode單點存儲方式塊、文件、對象對象存儲(分塊)塊存儲塊存儲活躍度高,中文社區不算活躍高,沒有中文社區高高成熟度高中
高高操作系統linux-3.10.0+linux,windows?任何支持java的OS文件系統EXT4,XFSEXT4,XFS??客戶端c、python,S3java,s3java,RESTfuljava,RESTful斷點續傳兼容S3,分段上傳,斷點下載
兼容S3,分段上傳,斷點下載不支持不支持學習成本高中?中前景10899開源協議LGPL version 2.1Apache v2.0Apache V2.0?管理工具ceph-admin,ceph-mgr,zabbix插件,web管理工具


分享到:


相關文章: