大數據運維，原來工作的內容是這些

今天跟大家分享一下大數據運維的主要工作內容，首先我們瞭解大數據運維和傳統的區別，

大數據運維和傳統運維的不同：

•  傳統運維面對的底層軟硬件基本穩固，大數 據運維面對的是商用硬件和複雜Linux版本

•  傳統運維面對單機架構為主，大數據運維面 對複雜的分佈式架構

•  傳統運維大多維護閉源商業版系統，大數據運維通常面對開源系統，文檔手冊匱乏，對 閱讀源碼要求高

•  大數據運維對自動化工具的依賴大大增加

運維三把斧子已經遠遠不足以維護分佈式的大數據平臺了，簡單介紹一下三把斧子，重啟：把有問題的服務器或者程序重啟，切換：主備切換，查殺：把有問題的進程或者鏈接kill掉，三板斧可以解決90%以上的故障處理工作，但是面對複雜的分佈式集群它就鞭長莫及了。

IaaS層運維一般中大型企業有自己的基礎設施維護團隊或者外包三方維護，這部分工作不會交給大數 據運維來做，大數據運維主要是：hadoop的運維、包括容量管理、進程管理、配置管理、故障處理等。kafka的運維，關注吞吐量、負載均衡、消息不丟機制，topics管理等。hbase運維，關注讀寫性能、服務的可用性，節點維護等。Hive/Impala運維，元數據管理、sql問題排查等。