详解EFK搭建过程及ES的生命周期管理

 概述

今天主要介绍下EFK搭建过程及ES的生命周期管理，平台采用EFK(ElasticSearch-6.6.1 + FileBeat-6.6.2 + Kibana-6.6.1)架构。建议三个组件主次版本保持一致。

EFK概念

EFK采用集中式的日志管理架构

• elasticsearch：一个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• kibana：可以为Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面，可以帮助汇总、分析和搜索重要数据日志。
• filebeat：轻量级日志采集器。需要在每个应用服务器配置filebeat，来采集日志，并输出到elasticsearch

一、ElasticSearch

#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 
#vi/etc/yum.repos.d/elasticsearch.repo 
===================================================== 
[elasticsearch-6.x] 
name=Elasticsearch repository for 6.x packages 
baseurl=https://artifacts.elastic.co/packages/6.x/yum 
gpgcheck=1 
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
enabled=1 
autorefresh=1 
type=rpm-md 
===================================================== 
# yum install elasticsearch 
# vim /etc/elasticsearch/elasticsearch.yml 
==================================================== 
network.host: 0.0.0.0 
==================================================== 
# service elasticsearch restart 

二、Kibana

1、部署

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 
# vim /etc/yum.repos.d/kibana.repo 
===================================================== 
snippet.bash 
[kibana-6.x] 
name=Elasticsearch repository for 6.x packages 
baseurl=https://artifacts.elastic.co/packages/6.x/yum 
gpgcheck=1 
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
enabled=1 
autorefresh=1 
type=rpm-md 
===================================================== 
# yum install kibana 
# vim /etc/kibana/kibana.yml 
===================================================== 
server.host: "kibana服务器ip" 
elasticsearch.hosts: ["http://ES服务器IP:9200"] 
#如果通过反向代理访问，则还需要添加如下配置。路径具体值视情况而定 
server.basePath: "/kibana" 

2、下载汉化包并复制到指定目录

wget https://codeload.github.com/anbai-inc/Kibana_Hanization/zip/master 
unzip master 
cp -r Kibana_Hanization-master/translations/ /usr/share/kibana/src/legacy/core_plugins/kibana/ 
​ 
#修改语言配置 
#vim /etc/kibana/kibana.yml 
====================================== 
i18n.locale: "zh_CN" 
====================================== 

3、重启服务

service kibana restart 

三、FileBeat

Filebeat隶属于Beats家族。目前Beats家族包含六种工具：

Packetbeat(搜集网络流量数据)

Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)

Filebeat(搜集文件数据)

Winlogbeat(搜集 Windows 事件日志数据)

Auditbeat( 轻量型审计日志采集器)

Heartbeat(轻量级服务器健康采集器)

1、部署

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 
# vim /etc/yum.repos.d/filebeat.repo 
================================================== 
snippet.bash 
[filebeat-6.x] 
name=Elasticsearch repository for 6.x packages 
baseurl=https://artifacts.elastic.co/packages/6.x/yum 
gpgcheck=1 
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
enabled=1 
autorefresh=1 
type=rpm-md 
================================================== 
# yum install filebeat 

2、配置

（编辑：源码门户网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!