ElasticSearch和Kibana 5.X集群的安装

1、准备工作
- 1.1、下载安装包
- 1.2、系统的准备
2、ElasticSearch集群的安装
3、Kibana安装
- 3.1、修改配置文件
- 3.2、启动Kibana

1、准备工作

1.1、下载安装包

在Elastic官网下载安装包，ElasticSearch和Kibana版本必须一致！！！

本次安装的版本为5.3.2:

elasticsearch-5.3.2.tar.gz
kibana-5.3.2-linux-x86_64.tar.gz

1.2、系统的准备

ElasticSearch集群不能以root用户启动，所以需要准备一个非root用户。
设置系统允许内存锁定

ulimit -l unlimited

2、ElasticSearch集群的安装

2.1、修改 config/elasticsearch.yml 文件

！！！！！！！注意: 配置文件中，冒号后面必须加空格！！！！！！！！！！！

修改集群名称(防止以后出现集群重名，必须修改)，和节点名称
修改集群的数据存放目录和日志目录(注意权限问题，将相应目录的所属用户:组更改为集群启动的用户)
内存相关设置，增加如下属性:
- indices.memory.index_buffer_size: 25%
- indices.memory.min_index_buffer_size: 512mb
- bootstrap.memory_lock: true
网络配置，增加如下属性(我们有5台机器，其中4台master和node都设为true，另外一台都为false作为负载均衡点):
- transport.publish_host: 0.0.0.0
- transport.bind_host: 0.0.0.0
- http.host: 172.31.18.13 ————- 更改为本机地址
- network.bind_host: 0.0.0.0
- network.publish_host: 0.0.0.0
- transport.tcp.port: 9300
- node.master: true ————- 设置为master
- node.data: true ————- 设置为datanode
- http.port: 9200
- http.enabled: true
- http.cors.enabled: true
- http.cors.allow-origin: "*"
配置集群自动发现节点
- discovery.zen.ping.unicast.hosts: 集群的所有ip，用双引号包含，逗号隔开
- discovery.zen.minimum_master_nodes: 集群最小master数量，值设置为节点数/2 + 1
线程池和脚本配置，添加以下参数:
- script.painless.regex.enabled: true —– 允许使用正则
- thread_pool.index.size: 33 —– 具体数值为CPU物理核的2倍
- thread_pool.index.queue_size: 1000 —– 具体数值大约为CPU物理核的60倍
附:公司ElasticSearch集群的配置文件:elasticsearch.yml

2.2、修改 bin/elasticsearch 文件

在文件前面增加如下属性:

JAVA_HOME=/usr/local/jdk1.8.0_77 —– jdk目录
ES_JAVA_OPTS="-Xms31g -Xmx31g" —– 设置内存，总内存的一半和31之间取小的
JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC"
JAVA_OPTS="$JAVA_OPTS -XX:+UseConcMarkSweepGC"
JAVA_OPTS="$JAVA_OPTS -XX:CMSInitiatingOccupancyFraction=75"
JAVA_OPTS="$JAVA_OPTS -XX:+UseCMSInitiatingOccupancyOnly"

2.3、将整个ElasticSearch目录复制到其它服务器

将目录复制到其它服务器之后，修改每个机器的config/elasticsearch.yml中的节点名称、http.host、和服务器硬件配置有关的相关参数
其中一台服务器的node.master和node.data都设置为false，作为负载均衡点，集群和外界通讯都通过这台机器，这台机器的硬件配置可以低一点

2.4、将启动加入到系统服务(可选，方便启动)

服务脚本为:

#!/bin/bash
# chkconfig: 2345 10 90
# description: Elasticsearch Service .... # 此处需要更改
ES_HOME=/opt/elasticsearchEXEC_PATH=$ES_HOME
EXEC=elasticsearch
DAEMON=$EXEC_PATH/bin/$EXEC
PID_FILE=$ES_HOME/pid/es.pid
ServiceName='Elasticsearch 5.0'. /etc/rc.d/init.d/functionsif [ ! -x $DAEMON ] ; then
      echo "ERROR: $DAEMON not found"
      exit 1
fistop()
{
      echo "Stoping $ServiceName ..."
      ps aux | grep "$DAEMON" | kill -9 `awk '{print $2}'` >/dev/null 2>&1
      rm -f $PID_FILE
      usleep 100
      echo "Shutting down $ServiceName: [  successful  ]"
}start()
{
      echo "Starting $ServiceName ..."
      $DAEMON > /dev/null &
      pidof $EXEC > $PID_FILE
      usleep 100
      echo "Shutting down $ServiceName: [  successful  ]"
}
restart()
{
    stop
    start
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    restart)
        restart
        ;;
    status)
        status -p $PID_FILE $DAEMON
        ;;
    *)
        echo "Usage: service $ServiceName {start|stop|restart|status}"
        exit 1
esac
exit $?

2.5、启动集群

后台运行每台机器的 bin/elasticsearch 脚本

用浏览器访问负载均衡点的9200端口: http://172.31.18.15:9200/_cluster/health

{
    "cluster_name": "datageek",
    "status": "green",
    "timed_out": false,
    "number_of_nodes": 5,
    "number_of_data_nodes": 4,
    "active_primary_shards": 43,
    "active_shards": 58,
    "relocating_shards": 0,
    "initializing_shards": 0,
    "unassigned_shards": 0,
    "delayed_unassigned_shards": 0,
    "number_of_pending_tasks": 0,
    "number_of_in_flight_fetch": 0,
    "task_max_waiting_in_queue_millis": 0,
    "active_shards_percent_as_number": 100
}

如果看到如上结果，各个nodes数量都对得上，就说明集群安装成功。

3、Kibana安装

3.1、修改配置文件

修改config/kibana.yml文件，增加如下三个属性(冒号后面要加空格):
- script.painless.regex.enabled: true
- server.host: "0.0.0.0"
- elasticsearch.url: "http://172.31.18.15:9200" —– elasticsearch集群的负载均衡点的ip和端口
修改bin/kibana文件，在首行增加 JAVA_HOME=/usr/local/jdk1.8.0_77

3.2、启动Kibana

后台运行bin/kibana脚本，在浏览器访问kibana机器的5601端口，看到页面说明Kibana安装成功。