海量可視化日誌分析平台之ELK搭建

ELK是什麼?

E=ElasticSearch ,一款基於的Lucene的分佈式搜索引擎,我們熟悉的github,就是由ElastiSearch提供的搜索,據傳已經有10TB+的數據量。

L=LogStash , 一款分佈式日誌收集系統,支持多輸入源,並內置一些過濾操作,支持多輸入元

K=Kibana , 一款配合ElasticSearch的web可視化界面,內置非常各種查詢,聚合操作,並擁有漂亮的圖形化展示功能

為什麼要用ELK?

在實際應用中,我們的日誌是非常重要的,它通常會記錄一些比較重要的信息,如應用程序的log記錄的error,warn級別的log,通常在量小的情況下,我們可以直接vi+awk+sed+grep定位原因,在量大的時候,這種方式就捉襟見肘了,而且我們還要各種聚合,或者基於異常多個關鍵詞的搜索,並有且,或,交,並,差,補,排序等一些操作,而且相應速度必須給力,如果線上環境出了故障,能夠立刻準確定位,ELK就是高手,在百萬大軍中取上將首級,猶如探囊取物,所以這時候ELK就非常適合了,當然除此之外,ELK也經常在運維工作中大放光彩,在應用級別的實時監控,非常適合一些重要核心服務的預警。

ELK如何安裝搭建?

環境要求:

Linux系統:Centos7

海量可視化日誌分析平臺之ELK搭建

Java版本:JDK1.8

海量可視化日誌分析平臺之ELK搭建

ELK均為最新版本:

海量可視化日誌分析平臺之ELK搭建

(1)ElasticSearch1.7.2 基於Lucene4.10.4的版本

海量可視化日誌分析平臺之ELK搭建

(2)Logstash1.5.4

海量可視化日誌分析平臺之ELK搭建

(3)Kibana4.1.2

海量可視化日誌分析平臺之ELK搭建

集群拓撲:

ElasticSearch 3臺機器:

集群名:search

機器名+es節點名 => ip地址

h1 => 192.168.1.120

h2 => 192.168.1.121

h3 => 192.168.1.122

Logstash 192.168.1.120

Kibana 192.168.1.120

下載:

elasticsearch: wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz

logstash : wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

kibana : wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

一: 安裝elasticsearch集群:

(1)解壓到指定目錄

(2)配置elasticsearch.yml裡面,集群名字和節點名字,如果不配置默認集群名為elasticsearch,節點名隨機生成一個

(3) 在線安裝head和bigdisk插件

直接在elasticsearch的根目錄下,分別輸入:

bin/plugin --install mobz/elasticsearch-head 安裝head

bin/plugin --install lukas-vlcek/bigdesk 安裝bigdesk

(4)scp分發安裝完畢後的elasticsearch

(5)依次啟動各個機器上的elasticsearch

(6)head顯示如下:

海量可視化日誌分析平臺之ELK搭建

海量可視化日誌分析平臺之ELK搭建

(7)bigdisk顯示如下:

海量可視化日誌分析平臺之ELK搭建

海量可視化日誌分析平臺之ELK搭建

二:安裝logstash

(1)解壓到指定目錄

(2)在根木下新建一個conf目錄,在裡面新建一個配置文件first.conf

海量可視化日誌分析平臺之ELK搭建

(3)啟動logstash

執行命令: bin/logstash -f conf/first.conf

海量可視化日誌分析平臺之ELK搭建

三:安裝kibana

(1)解壓到指定目錄

(2)在根目錄執行bin/kibana直接啟動

(3)訪問http://192.168.1.120:5601/ 配置一個ElasticSearch索引

(4)在logstach裡面添加數據

海量可視化日誌分析平臺之ELK搭建

(5)查看圖表:剛新加的數據

海量可視化日誌分析平臺之ELK搭建

四: 至此,ELK組件已經安裝完畢,帶圖形化界面的簡單日誌查詢分析系統就搞定了

那如何學習才能快速入門並精通呢?

當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有一套實用的視頻課程用來跟著學習是非常有必要的。

為了讓學習變得輕鬆、高效,今天給大家免費分享一套阿里架構師傳授的一套教學資源。幫助大家在成為架構師的道路上披荊斬棘。

這套視頻課程詳細講解了(Spring,MyBatis,Netty源碼分析,高併發、高性能、分佈式、微服務架構的原理,JVM性能優化、分佈式架構)等這些成為架構師必備的內容!

而且還把框架需要用到的各種程序進行了打包,根據基礎視頻可以讓你輕鬆搭建分佈式框架環境,像在企業生產環境一樣進行學習和實踐。

海量可視化日誌分析平臺之ELK搭建

後臺私信回覆 “ 架構 ” 就可以馬上免費獲得這套價值一萬八的內部教材!


分享到:


相關文章: