ElasticSearch採坑計

ElasticSearch是一個分佈式的,高性能,高可用的,可伸縮的搜索和分析系統

(1)可以作為大型分佈式集群(數百臺服務器)技術,處理PB級的數據,服務大公司;也可以運行在單機上服務於小公司

(2)Elasticsearch不是什麼新技術,主要是將全文檢索、數據分析以及分佈式技術,合併在了一起,才形成了獨一無二的ES:lucene(全文檢索),商用的數據分析軟件,分佈式數據庫

(3)對用戶而言,是開箱即用的,非常簡單,作為中小型應用,直接3分鐘部署一下ES,就可以作為生產環境的系統來使用了,此時的場景是數據量不大,操作不是太複雜

(4)數據庫的功能面對很多領域是不夠用的(事務,還有各種聯機事務型的操作);

特殊的功能,比如全文檢索,同義詞處理,相關度排名,複雜數據分析,海量數據的近實時處理,Elasticsearch作為傳統數據庫的一個補充,提供了數據庫所不能提供的很多功能

下載:

<code>wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.gz/<code>

解壓:

<code>tar -zxvf elasticsearch-6.1.0.tar.gz -C ~/training//<code>

修改配置文件:config/elasticsearch.yml,需要修改的沒有多少:

<code>cluster.name: william
node.name: node-1
node.attr.rack: r1
path.data: /trainging/elasticsearch-6.1.0/data
path.logs: /trainging/elasticsearch-6.1.0/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: xxxxx
http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true/<code>

每個參數的具體意思如下,轉自別人的博客

<code>elasticsearch的config文件夾裡面有兩個配置文 件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日誌配置文件,es也是使用log4j來記錄日 志的,所以logging.yml裡的設置按普通log4j配置文件來設置就行了。下面主要講解下elasticsearch.yml這個文件中可配置的 東西。

cluster.name: elasticsearch
配置es的集群名稱,默認是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可以用這個屬性來區分不同的集群。

node.name: "Franz Kafka"
節點名,默認隨機指定一個name列表中名字,該列表在es的jar包中config文件夾裡name.txt文件中,其中有很多作者添加的有趣名字。

node.master: true
指定該節點是否有資格被選舉成為node,默認是true,es是默認集群中的第一臺機器為master,如果這臺機掛了就會重新選舉master。


node.data: true
指定該節點是否存儲索引數據,默認為true。

index.number_of_shards: 5
設置默認索引分片個數,默認為5片。

index.number_of_replicas: 1
設置默認索引副本個數,默認為1個副本。

path.conf: /path/to/conf
設置配置文件的存儲路徑,默認是es根目錄下的config文件夾。

path.data: /path/to/data
設置索引數據的存儲路徑,默認是es根目錄下的data文件夾,可以設置多個存儲路徑,用逗號隔開,例:
path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work
設置臨時文件的存儲路徑,默認是es根目錄下的work文件夾。

path.logs: /path/to/logs
設置日誌文件的存儲路徑,默認是es根目錄下的logs文件夾

path.plugins: /path/to/plugins
設置插件的存放路徑,默認是es根目錄下的plugins文件夾

bootstrap.mlockall: true
設置為true來鎖住內存。因為當jvm開始swapping時es的效率 會降低,所以要保證它不swap,可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值,並且保證機器有足夠的內存分配給es。 同時也要允許elasticsearch的進程可以鎖住內存,linux下可以通過`ulimit -l unlimited`命令。


network.bind_host: 192.168.0.1
設置綁定的ip地址,可以是ipv4或ipv6的,默認為0.0.0.0。


network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址,如果不設置它會自動判斷,值必須是個真實的ip地址。

network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

transport.tcp.port: 9300
設置節點間交互的tcp端口,默認是9300。

transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據,默認為false,不壓縮。

http.port: 9200
設置對外服務的http端口,默認為9200。

http.max_content_length: 100mb
設置內容的最大容量,默認100mb

http.enabled: false
是否使用http協議對外提供服務,默認為true,開啟。

gateway.type: local
gateway的類型,默認為local即為本地文件系統,可以設置為本地文件系統,分佈式文件系統,hadoop的HDFS,和amazon的s3服務器,其它文件系統的設置方法下次再詳細說。


gateway.recover_after_nodes: 1
設置集群中N個節點啟動時進行數據恢復,默認為1。

gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間,默認是5分鐘。

gateway.expected_nodes: 2
設置這個集群中節點的數量,默認為2,一旦這N個節點啟動,就會立即進行數據恢復。

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時,併發恢復線程的個數,默認為4。

cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時併發恢復線程的個數,默認為4。

indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬,如入100mb,默認為0,即無限制。

indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢復數據時最大同時打開併發流的個數,默認為5。

discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對於大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout: 3s

設置集群中自動發現其它節點時ping連接超時時間,默認為3秒,對於比較差的網絡環境可以高點的值來防止自動發現時出錯。

discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點,默認是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點。

下面是一些查詢時的慢日誌參數設置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms/<code>

啟動 bin/elasticsearch

錯誤:Error: Could not find or load main class org.elasticsearch.tools.JavaVersionChecker。 不要放在root目錄下即可Caused by: java.lang.RuntimeException: can not run elasticsearch as root. 不能使用root用戶

所以創建一個用戶,並將elasticsearch copy到不是root的目錄下:

<code>[root@VM_0_11_centos training]# adduser william
[root@VM_0_11_centos training]# cp -a elasticsearch-6.1.0/ /trainging/
[root@VM_0_11_centos training]# cd /trainging/
[root@VM_0_11_centos trainging]# chown -R william:william elasticsearch-6.1.0//<code>

但是又出現了錯誤:

<code>[william@VM_0_11_centos elasticsearch-6.1.0]$ bin/elasticsearch
which: no java in (/root/training/jdk1.8.0_161/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
could not find java; set JAVA_HOME or ensure java is in PATH/<code>

因為新創建的這個用戶沒有權限訪問jdk中的命令,把安裝在root目錄下的jdk移出到根目錄下,並重新配置下環境變量即可

啟動又出錯:

<code> max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]/<code>

原因是用戶擁有的內存太小:切換到root用戶 修改一下

<code>sysctl -w vm.max_map_count=262144/<code>

查看: sysctl -a|grep vm.max_map_count永久解決辦法:

<code>在   /etc/sysctl.conf文件最後添加一行
vm.max_map_count=262144/<code>

在另一臺機器上報了一個這麼的錯誤max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]解決方法:修改/etc/security/limits.conf文件,增加配置,用戶退出後重新登錄生效

<code>*               soft    nofile          65536
*               hard    nofile          65536/<code>

啟動起來就可以訪問了,在瀏覽器裡面輸入你的ip:9200如果訪問不了,看下你的防火牆關了麼:

<code>systemctl status firewalld查看當前防火牆狀態。
 systemctl stop firewalld關閉當前防火牆。
 systemctl disable firewalld開機防火牆不啟動。/<code>

終於可以訪問了:

為了看起來好看,我們安裝插件 ElasticSearch-header

首先需要安裝 npm

<code>yum install npm/<code>

將ElasticSearch-head 下載到本地,它是github的開源項目:

<code>git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install/<code>

安裝的過程中又報錯:

<code> Failed at the [email protected] install script 'node install.js'.
npm ERR! Make sure you have the latest version of node.js and npm installed./<code>

看樣子是nodejs 沒安裝,得安裝nodejs

<code> wget https://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz
  tar xf node-v12.16.1-linux-x64.tar.xz /<code>

然後添加環境變量,繼續安裝ElasticSearch-header: npm install

報錯:

<code>npm ERR! Failed at the [email protected] install script./<code>

解決方法是:

<code>npm install [email protected] --ignore-scripts/<code>

好了 總算安裝成功了:

<code>+ [email protected]
added 75 packages from 69 contributors, removed 5 packages and audited 1751 packages in 21.413s
3 packages are looking for funding
  run `npm fund` for details
found 50 vulnerabilities (21 low, 8 moderate, 21 high)

  run `npm audit fix` to fix them, or `npm audit` for details/<code>

啟動:

<code>npm run start/<code>

實際上完全沒有必要折騰這麼多,可以直接Chrome瀏覽器下載個擴展插件裝Chome瀏覽器裡就可以,效果是一樣的,還簡單:

ElasticSearch採坑計

在這裡插入圖片描述

下載地址:https://github.com/mobz/elasticsearch-head/blob/master/crx/es-head.crx下載之後改為rar為後綴的文件之後解壓,在Chrome瀏覽器裡添加已解壓的擴展程序就可以了

單節點的ElasticSearch就算搭建好了,該踩的坑一個沒拉下!


參考: https://segmentfault.com/a/1190000018876875 https://blog.csdn.net/paicmis/article/details/82535018 https://blog.csdn.net/zhangshenghang/article/details/100113290 https://blog.csdn.net/cnweike/article/details/33736429 https://www.cnblogs.com/shixiuxian/p/11196654.html


ElasticSearch採坑計


分享到:


相關文章: