一、ELK分析

        对于ELK，主要是分为Elastic Search、Logstash和Kibana三部分：其中Logstash作为日志的汇聚，可以通过input、filter、output三部分，把日志收集、过滤、输出到Elastic Search中（也可以输出到文件或其他载体）；Elastic Search作为开源的分布式引擎，提供了搜集、分析、存储数据的功能，采用的是restful接口的风格；Kibana则是作为Elastic Search分析数据的页面展示，可以进行对日志的分析、汇总、监控和搜索日志用。
 

二、ELK部署

Elasticsearch 官网elasticsearch-6.3.0.tar  

Kibana 官网kibana-6.3.0下载 linux64位

Logstash 官网logstash-6.3.0.tar

Elasticsearch安装

1.解压

tar -zxvf elasticsearch-6.3.0.tar.gz

2.修改config目录下elasticsearch.yml文件

# 在elasticsearch-6.3.0目录下创建一个data文件存储数据
path.data: "此处填data目录,用pwd命令获取"

# 填写elasticsearch-6.3.0目录下的logs目录,记录es日志 
path.logs: "此处填logs文件全路径"

# 端口号
http.port: 9200  

# 建议改成服务器ip
network.host: 192.168.246.110

3.es不能使用root用户启动

#创建新用户及授权
groupadd es

useradd es -g es -p elasticsearch

chown -R es:es elasticsearch-6.3.0

4.启动

#启动前先切换用户

su es

# 后台启动
nohup ./bin/elasticsearch -d

# 查看是否启动成功
ps -ef|grep elasticsearch

# 输入此命令查看是否有json字符串
curl http://ip:9200

注意！！！7版本以上的es需要的jdk可能都是11或者以上的，而我们的项目大多数都是使用的jdk8，但是7版本以上的es自带了jdk，此时我们需要把es的启动环境jdk进行配置。

修改bin目录下的elasticsearch-env文件

 # 修改前 
 if [ ! -z "$JAVA_HOME" ]; then
    JAVA="$JAVA_HOME/bin/java"
    JAVA_TYPE="JAVA_HOME"
  else
    if [ "$(uname -s)" = "Darwin" ]; then
      # macOS has a different structure
      JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
    else
      JAVA="$ES_HOME/jdk/bin/java"
    fi
    JAVA_TYPE="bundled jdk"
  fi




#修改后
 if [ "$(uname -s)" = "Darwin" ]; then
   # macOS has a different structure
   JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
 else
   JAVA="$ES_HOME/jdk/bin/java"
 fi
 JAVA_TYPE="bundled jdk"

Kibana安装

1.解压

tar -zxvf kibana-6.3.0-linux-x86_64.tar.gz

2.修改配置config下的kibana.yml文件

# 端口号
server.port: 5601

# ip
server.host: "服务器ip"

# es连接
elasticsearch.url: "http://"es的ip地址":9200"

3.启动并检查

# 后台启动
nohup ./bin/kibana -d

# 检查是否启动成功
ps -ef|grep kibana

启动后到浏览器输入kibana的地址:   ip:5601 出现以下前端页面代表es与kibana建立连接成功,否则失败。

Logstash安装

1.解压

# 解压
tar -zxvf logstash-6.3.0.tar.gz

2.配置文件配置

# 在config目录下新建一个配置文件名为:logstash.conf,配置如下
input {
  tcp {
    port => 5400
    type => "tcp_log"
    codec=> json_lines
     }
}

output{      
   if [type] == "tcp_log" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "tcplog-%{+YYYY.MM.dd}"
                }
        }   
}

3. 启动

# 在logstash.6.3.0目录下后台启动
nohup ./bin/logstash -f ./config/logstash.conf &

# 检查是否成功
ps -ef|grep logstash

经过以上配置,elk基本就已经搭建完成了,能够满足正常的使用,但是企业中实战完全不够,因为安全性不够好,es与kibana默认都是没有密码的需要配置密码。

三、ES、Kibana、Logstash密码配置

Es

1.关于x-pack插件

x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，可以轻松的启用或者关闭一些功能。默认我们的elk部署后，可以直接就进入web管理界面，这样会带来极大的安全隐患。

es的密码配置需要借助x-pack插件,若是6.3.0之前的版本需要下载插件，6.3.0以后都不需要下载，如果需要下载则按一下进行操作:

# 在es的目录下进行下载
./elasticsearch-plugin install x-pack

2. 在es的config目录下elasticsearch.yml中添加如下配置

# 开启集群中http传输,我搭建的为单机
xpack.security.transport.ssl.enabled: true

# 开启xpack
xpack.security.enabled: true

# 是否支持跨域，默认为false
http.cors.enabled: true

# 当设置允许跨域，默认为*,表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/
http.cors.allow-origin: "*"

# 请求头设置,可有可无
http.cors.allow-headers: "Authorization"

3.启动es

#启动前先切换用户

su es

# 后台启动
nohup ./bin/elasticsearch -d

# 查看是否启动成功
ps -ef|grep elasticsearch

# 输入此命令查看是否有json字符串
curl http://ip:9200

4.设置密码

# 在es的bin目录下以交互的方式设置密码
./bin/elasticsearch-setup-passwords interactive

此时可能会出现错误,报错信息如下:

Unexpected response code [403] from calling GET http://10.10.1.10:9200/_xpack/security/_authenticate?pretty
It doesn't look like the X-Pack security feature is available on this Elasticsearch node.
Please check if you have installed a license that allows access to X-Pack Security feature.

ERROR: X-Pack Security is not available.

没有关系,你只需要等等等等,不出五分钟你会发现你去浏览器访问es的时候需要你输入密码

若是还是不需要密码即可访问es的界面,请参考以下博客：

CentOS7上安装配置破解Elasticsearch+Kibana 6.4.2-6.5.1全过程_WolfBolin的博客-CSDN博客

当出现可以需要密码访问es时候执行以下命令,进行密码配置：

./bin/elasticsearch-setup-passwords interactive

然后按照以下步骤配置密码es,kibana以及logstash密码

[root@sbox-tt bin]# ./elasticsearch-setup-passwords interactive
Initiating the setup of passwords for reserved users elastic,kibana,logstash_system,beats_system.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y


Enter password for [elastic]: 
passwords must be at least [6] characters long
Try again.
Enter password for [elastic]: 
Reenter password for [elastic]: 
Passwords do not match.
Try again.
Enter password for [elastic]: 
Reenter password for [elastic]: 
Enter password for [kibana]: 
Reenter password for [kibana]: 
Enter password for [logstash_system]: 
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [elastic]

Kibana

由于es已经设置好了密码,此时如果kibana想要从es中获取数据就必须进行账号密码配置,在kibana的config目录下进行Kibana.yml配置如下

# 默认用户为elastic
elasticsearch.username: "elastic"
elasticsearch.password: "密码"

Logstash

logstash需要把收集来的数据传输到es,这个时候需把前面配置好的logstash.conf文件进行更改:

# tcp表示以tcp的方式进行日志传输,此方式更好与项目结合
input {
  tcp {
    port => 5400
    type => "tcp_log"
    codec=> json_lines
     }
  tcp{
    port => 5301
    type => "tcp_data"
    codec=> json_lines
  }
}

output{      
   if [type] == "tcp_log" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "tcplog-%{+YYYY.MM.dd}"
                        user  => elastic
                        password => 密码
                }
        }
   if [type] == "tcp_data" {
                elasticsearch {
                        hosts => ["ip:9200"]
                        index => "%{[appname]}-%{+YYYY.MM.dd}"
                        user  => elastic
                        password => 密码
                }
        }     
}

登录Kibana,浏览器访问:ip:5601,出现以下界面:

Kibana的superuser的账号为:elastic  密码为前面设置好的密码。登录后,elk及搭建完成。

四、ELK与项目结合

1、SpringBoot与LogBack日志配置

SpringBoot项目中引入jar包,该jar包起到Socket通过TCP方式向Logstash进行日志传输。

    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>5.3</version>
    </dependency>

接着增加logback-spring.xml配置文件如下:

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <property name="LOG_HOME" value="logs/demo.log" />
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--此处为logstash的ip以及通信的端口,在logstash.conf文件中可以查看-->
        <destination>ip:5301</destination>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" >
            <!--此处的appname 为项目中独有的日志名字,在logstash.config文件中有配置-->
            <customFields>{"appname": "pay_mode"}</customFields>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="STDOUT" />
        <appender-ref ref="logstash" />
    </root>

</configuration>

# elk # java
Logo
华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。

更多推荐

cover

华为云Stack8.3面向香港正式发布，六大亮点激发云上跃迁

avatar 华为云开发者联盟
cover

GaussDB SQL查询语句执行过程解析

avatar 华为云开发者联盟
cover

6个实例带你解读TinyVue 组件库跨框架技术

avatar 华为云开发者联盟