ELK是什麼?
E=ElasticSearch ,一款基於的Lucene的分佈式搜索引擎,我們熟悉的github,就是由ElastiSearch提供的搜索,據傳已經有10TB+的數據量。
L=LogStash , 一款分佈式日誌收集系統,支持多輸入源,並內置一些過濾操作,支持多輸入元
K=Kibana , 一款配合ElasticSearch的web可視化界面,內置非常各種查詢,聚合操作,並擁有漂亮的圖形化展示功能
為什麼要用ELK?
在實際應用中,我們的日誌是非常重要的,它通常會記錄一些比較重要的信息,如應用程序的log記錄的error,warn級別的log,通常在量小的情況下,我們可以直接vi+awk+sed+grep定位原因,在量大的時候,這種方式就捉襟見肘了,而且我們還要各種聚合,或者基於異常多個關鍵詞的搜索,並有且,或,交,並,差,補,排序等一些操作,而且相應速度必須給力,如果線上環境出了故障,能夠立刻準確定位,ELK就是高手,在百萬大軍中取上將首級,猶如探囊取物,所以這時候ELK就非常適合了,當然除此之外,ELK也經常在運維工作中大放光彩,在應用級別的實時監控,非常適合一些重要核心服務的預警。
ELK如何安裝搭建?
環境要求:
Linux系統:Centos7
Java版本:JDK1.8
ELK均為最新版本:
(1)ElasticSearch1.7.2 基於Lucene4.10.4的版本
(2)Logstash1.5.4
(3)Kibana4.1.2
集群拓撲:
ElasticSearch 3臺機器:
集群名:search
機器名+es節點名 => ip地址
h1 => 192.168.1.120
h2 => 192.168.1.121
h3 => 192.168.1.122
Logstash 192.168.1.120
Kibana 192.168.1.120
下載:
elasticsearch: wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz
logstash : wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana : wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
一: 安裝elasticsearch集群:
(1)解壓到指定目錄
(2)配置elasticsearch.yml裡面,集群名字和節點名字,如果不配置默認集群名為elasticsearch,節點名隨機生成一個
(3) 在線安裝head和bigdisk插件
直接在elasticsearch的根目錄下,分別輸入:
bin/plugin --install mobz/elasticsearch-head 安裝head
bin/plugin --install lukas-vlcek/bigdesk 安裝bigdesk
(4)scp分發安裝完畢後的elasticsearch
(5)依次啟動各個機器上的elasticsearch
(6)head顯示如下:
(7)bigdisk顯示如下:
二:安裝logstash
(1)解壓到指定目錄
(2)在根木下新建一個conf目錄,在裡面新建一個配置文件first.conf
(3)啟動logstash
執行命令: bin/logstash -f conf/first.conf
三:安裝kibana
(1)解壓到指定目錄
(2)在根目錄執行bin/kibana直接啟動
(3)訪問http://192.168.1.120:5601/ 配置一個ElasticSearch索引
(4)在logstach裡面添加數據
(5)查看圖表:剛新加的數據
四: 至此,ELK組件已經安裝完畢,帶圖形化界面的簡單日誌查詢分析系統就搞定了
那如何學習才能快速入門並精通呢?
當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續學習的信心。
但最重要的是不知道哪些技術需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有一套實用的視頻課程用來跟著學習是非常有必要的。
為了讓學習變得輕鬆、高效,今天給大家免費分享一套阿里架構師傳授的一套教學資源。幫助大家在成為架構師的道路上披荊斬棘。
這套視頻課程詳細講解了(Spring,MyBatis,Netty源碼分析,高併發、高性能、分佈式、微服務架構的原理,JVM性能優化、分佈式架構)等這些成為架構師必備的內容!
而且還把框架需要用到的各種程序進行了打包,根據基礎視頻可以讓你輕鬆搭建分佈式框架環境,像在企業生產環境一樣進行學習和實踐。
後臺私信回覆 “ 架構 ” 就可以馬上免費獲得這套價值一萬八的內部教材!
閱讀更多 JAVA技術程序員 的文章
關鍵字: ElasticSearch Linux 日誌