ELK日志分析系统简单部署

1.传统日志分析系统：日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。2.ELK日志分析系统：开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。3.参考资料：官方网站：https://www.elastic.co/products4.工作原理具体流程说明：在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。4.软件准备：系统信息：CentOS release 6.5JDK：安装version=8以上的版本；jre-8u51-linux-x64.rpm（logstash需要依赖JDK插件）http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.htmllogstash：logstash-1.5.3.tar.gzelasticsearch：elasticsearch-1.7.1.tar.gzkibana：kibana-4.1.1-linux-x64.tar.gz以上软件下载地址：https://www.elastic.co/products5.安装详解：jdk的安装以.rpm包的安装作为详解，需要注意的是在安装高版本的jdk时，应该先卸载低版本的jdk，在这不做详解；[root@ELK ~]#rpm -ivh jre-8u51-linux-x64.rpm配置环境变量：export JAVA_HOME=/usr/java/jre1.8.0_51
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH CLASSPATH测试jdk版本信息：[root@ELK ~]#java -version
java version “1.8.0_51”
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)6.安装logstash注：安装目录统一设置为“/usr/local/”下，软件名字统一设置为，例如：“logstash”不加版本信息；tar -xvf logstash-1.5.3.tar.gz -C /usr/local/cd /usr/local/mv logstash-1.5.3 logstash软件测试：创建测试文件“ /usr/local/logstash/logstash-test.conf”[root@ELK logstash]#vi logstash-test.confinput { stdin { } }output {
   stdout { codec=> rubydebug }}Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫”stdin”的input，output定义一个叫”stdout”的output。无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符，其中output被定义为”stdout”并使用了codec参数来指定logstash输出格式。开始测试：/usr/local/logstash/bin/logstash agent -f /usr/local/logstash/logstash-test.conflogstash测试成功；7.安装ElasticSearchtar -xvf elasticsearch-1.7.1.tar.gz -C /usr/local/cd /usr/local/mv elasticsearch-1.7.1 elasticsearch启动ElasticSearchnohup /usr/local/elasticsearch/bin/elasticsearch &> nohup.log &查看elasticsearch监听端口配置测试文件在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf使用以下命令测试：[root@ELK ~]# /usr/local/logstash/bin/logstash agent -f /usr/local/logstash/logstash-es-simple.conf输入hello logstash测试：也可以使用curl命令发送请求来查看ES是否接收到了数据：8. 安装elasticsearch插件Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：/usr/local/elasticsearch/bin/plugin -install lmenezes/elasticsearch-kopf访问方式：http://192.168.0.201:9200/_plugin/kopf/这个插件记录任意一个时刻的具体的日志信息。里面还有很多有用的选项；（具体还是有待研究）9.安装kibanatar -xvf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/cd /usr/local/mv kibana-4.1.1-linux-x64 kibana启动kibana程序nohup /usr/local/kibana/bin/kibana &>kibana.log &访问方式：http://192.168.0.201:5601/登录后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名，然后点击create即可；由于服务刚启动和日志类似的单一，现在只能收集到一样一条日志信息，但是ELK软件的强大还有待研究；