HDFS原來是這麼來的,總算知道自己學了個啥

  • 什麼是HDFS?

HDFS(Hadoop distributed File System 直譯:hadoop 分佈式的 文件 系統),每一個單詞都有其含義,分開來說

  1. Hadoop只是一個技術名稱,類似win,linux這樣的
  2. distributed 分佈式的意思就是有多臺機器
  3. File System 文件系統,通常只寫FS。文件系統,顧名思義,就是來存放管理文件的
  4. 合起來,就是用hadoop這樣一個技術體系下的,多臺機器共同組成存放文件的系統。最重要的還是文件系統,類似win下有文件管理系統,本質來講,不管它有多少修飾符,它只是一個文件系統,前邊的修飾符(Hadoop distributed)只是描述了它的特點。
HDFS原來是這麼來的,總算知道自己學了個啥

hdfs類比win的文件系統,只不過它是分佈式的

  • HDFS的產生的原因
  1. 一臺服務器,它的存儲能力有限,比如我們常用的128G內存+8T機械硬盤,8T存儲容量是有限的,我們要處理的信息總量早就超過了TB這個級別,我們想要更大的存儲空間。
  2. 一臺服務器的容量有限,那麼我可以用兩臺服務器來存,我還可以用更多的服務器來存。
  3. 用更多的服務器存固然是可以的,但是又產生的別的問題,比如,這麼多服務器,這麼多文件,怎麼才能知道文件存在哪了?
  4. 靠人去記憶存儲位置,顯然是不切實際的。那麼就需要一個系統來管理這些服務器,管理這些文件。
  5. 那麼就產生了能夠管理多臺服務器和文件的系統,hdfs只是其中之一。


分享到:


相關文章: