ELK环境搭建

• 使用mkdir project创建project文件夹,用来存放ELK相关文件

一、Elasticsearch下载

1.下载官网安装包，并通过XShell工具将其上传到Linux虚拟机或服务器

• 进入Elasticsearch官网选择LINUX X86_64进行下载，首次/偶尔访问有些慢，建议合理使用科学上网工具进行访问。
  

• 选择7.15.1版本进行下载，接着使用XShell新建文件传输，将文件拖进xshell直接传输到虚拟机或服务器上
  

• 打开新建文件传输点击取消即可打开sftp窗口
  

• 切换当前目录到新创建的project目录

cd /project

• 将下载好的安装包拖入虚拟机或服务器，窗口挂着等待上传完成。
• 打开一个新窗口使用

useradd es

• 添加es用户，使用

passwd es

• 将密码设置为es。
• 若不创建用户后续运行会出现如下图报错，因为elasticsearch默认不能以root用户运行elasticsearch
  
• 输入

vi /etc/sudoers

找到这行 root ALL=(ALL) ALL,在它的下面添加xxx ALL=(ALL) ALL与 xxx ALL=(ALL) NOPASSWD: ALL (这里的xxx是你的用户名)，接着按Esc输入

:wq!

• 保存退出

其他指令：
xxx ALL=(ALL) ALL
%xxx ALL=(ALL) ALL
xxx ALL=(ALL) NOPASSWD: ALL
%xxx ALL=(ALL) NOPASSWD: ALL

第一行:允许用户xxx执行sudo命令(需要输入密码)
第二行:允许用户组xxx里面的用户执行sudo命令(需要输入密码)
第三行:允许用户xxx执行sudo命令,并且在执行的时候不输入密码
第四行:允许用户组xxx里面的用户执行sudo命令,并且在执行的时候不输入密码

• 输入

su es

• 用来切换到es用户
  

2.解压与配置运行Elasticsearch，建议限制elasticsearch运行内存，防止出现使用的虚拟机或服务器运行内存不够，导致直接宕机（死机）的情况

• 使用命令

cd /project

• 进入目录，接着使用命令解压

sudo tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz

• 解压完成后限制elasticsearch运行内存步骤如下
• 输入

cd /project/elasticsearch-7.15.1/config 

• 进入elasticsearch目录，继续输入

vi elasticsearch.yml

• 在底部补充运行参数

#设置公网IP地址和端口
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
node.name: node-1
#跨域启用，允许浏览器访问,head 插件也需要这打开这两配置
http.cors.enabled: true
http.cors.allow-origin: "*"

• 按Esc输入

:wq!

• 保存退出
• 输入

vi jvm.options

• 在空白位置增加jvm运行内存参数，接着按Esc输入

:wq

• 保存退出。

-Xms128m
-Xmx128m

• 打开一个XShell新窗口，输入

chown -R es:es /project/elasticsearch-7.15.1

• 授予es用户文件夹权限。
  
• 在原先es用户终端界面先输入

cd ..

• 回到elasticsearch主目录，再输入

./bin/elasticsearch &

• 后台运行elasticsearch
  
• 使用命令

firewall-cmd --zone=public --add-port=9200/tcp --permanent

• 在linux系统防火墙开启9200和9300端口，当前已经都打开了，所以有警告。没开启过对应端口的只会显示success
  
• 若是腾讯云服务器则需要打开对应默认9200及9300防火墙端口，若是阿里云服务器则需要打开对应默认9200及9300安全组端口。这样公网及程序可以访问到，后续需要给ELK配置密码访问，提高安全性。

二、Logstash环境部署

1.下载官网安装包，并通过XShell工具将其上传到Linux虚拟机或服务器

• 进入Logstash官网选择LINUX X86_64进行下载，首次/偶尔访问有些慢，建议合理使用科学上网工具进行访问。
  

• 由于ELK版本需保持一致，否则可能出现报错，Elasticsearch当前安装了7.15.1的版本，所以下载同样版本的Logstash。

• 下载完成后使用XShell新建文件传输，将文件传输到虚拟机或服务器上。

• 切换当前目录到project目录

cd /project

• 将下载好的安装包拖入虚拟机或服务器，窗口挂着等待上传完成。
  

• 切换回服务器窗口，先

cd /project

• 进入目录，再使用

tar -zxvf logstash-7.15.1-linux-x86_64.tar.gz

• 进行解压

2.限制运行内存，启动Logstash

• 限制jvm运行参数，输入

cd logstash-7.15.1/config

• 输入

vi jvm.options

• 找到-Xms和-Xmx，将末尾参数改成256m，按Esc输入

:wq!

• 保存退出。
  
• 打开一个XShell新窗口，输入

chown -R es:es /project/logstash-7.15.1

• 授予es用户文件夹权限。
  
• 输入

cd ..

• 回到Logstash目录，继续输入

./bin/logstash -f config/logstash-sample.conf

• 运行Logstash，Elasticsearch需保持开启，否则会导致Logstash连接不上报错。
  
• 使用命令

firewall-cmd --zone=public --add-port=5044/tcp --permanent

• 和

firewall-cmd --zone=public --add-port=9600/tcp --permanent

• 在linux系统防火墙开启5044和9600端口，当前已经打开，所以有个警告。正常只有一个success
  
  
• 若是腾讯云服务器则需要打开对应5044和9600防火墙端口，若是阿里云服务器则需要打开对应5044和9600安全组端口

三、Kibana环境部署

1.下载官网安装包，并通过XShell工具将其上传到Linux虚拟机或服务器

• 进入Kibana官网选择LINUX X86_64进行下载，首次/偶尔访问有些慢，建议合理使用科学上网工具进行访问。

• 由于ELK版本需保持一致否则可能出现报错，Elasticsearch与Logstash当前都安装了7.15.1的版本，所以也得下载7.15.1的Kibana，下载完成后使用XShell新建文件传输，将文件传输到虚拟机或服务器上。
  
• 切换当前目录到新创建的project目录

cd /project

• 上传文件
  

• 回到服务器文件命令行窗口，使用

tar -zxvf kibana-7.15.1-linux-x86_64.tar.gz

进行解压

2.配置运行Kibana

• 使用

cd kibana-7.15.1-linux-x86_64/config

• 进入config目录，接着使用

vi kibana.yml

• 在最底部新增配置

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
i18n.locale: zh-CN

• 接着按Esc输入

:wq

• 保存退出，先输入

cd ..

• 回到kibana主目录，再输入

nohup ./bin/kibana --allow-root &

• 后台启动kibana
  

• 使用命令

firewall-cmd --zone=public --add-port=5601/tcp --permanent

• 在linux系统防火墙开启5601端口，当前已经打开，所以有个警告。正常只有一个success

• 若是腾讯云服务器则需要打开对应5601防火墙端口，若是阿里云服务器则需要打开对应5601安全组端口

四、ELK登陆加密

1.Elasticsearch配置访问密码

• 首先切换到es用户
  su es
• 输入

cd /project/elasticsearch-7.15.1/config

• 进入elasticsearch目录，继续输入

vi elasticsearch.yml

• 配置启动时访问密码
• 在最底部增加配置认证密码，按Esc输入

:wq!

• 保存。

http.cors.allow-headers: Authorization
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

• 输入

cd ..

• 回到elasticsearch主目录，输入

ps -ef|grep elasticsearch

• 输入

kill -9 81522

• 杀进程，接着再输入

./bin/elasticsearch &

• 后台运行elasticsearch
• 重启es后再输入

./bin/elasticsearch-setup-passwords interactive

• 设置密码，可以都设置成一样的。此时设置成elastic，故账号密码都是elastic

• 接着访问

http://[ip]:9200

即可看到Elasticsearch已需要使用账号密码进行访问，输入后可显示默认页面

• 接着访问

http://[ip]:5601

即可看到Elasticsearch已需要使用账号密码进行访问，输入后可显示默认页面

2.Logstash配置访问密码

• 首先输入

cd /project/logstash-7.15.1/config/

• 进入目录，接着输入

vi logstash.yml

• 在开头添加如下配置，按Esc输入

:wq

• 保存退出。

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: elastic
xpack.monitoring.elasticsearch.hosts: ["http://localhost:9200"]
http.host: 0.0.0.0

• 接着输入

cd /project/logstash-7.15.1/config/

• 进入目录，再输入

vi logstash-sample.conf

• 在开头修改账号密码配置，按Esc输入

:wq

• 保存。
  
• 输入

ps -ef|grep logstash

• 再输入

kill -9 73749

• 杀掉正在运行的进程
  
• 输入

cd ..

• 回到Logstash主目录，继续输入

./bin/logstash -f config/logstash-sample.conf

• 运行Logstash

3.Kibana配置访问密码

• 先输入

cd /project/kibana-7.15.1-linux-x86_64/config/

• 进入目录，再输入

vi kibana.yml

• 在开头增加如下配置，按Esc输入

:wq

• 保存。

#配置用于与elasticsearch做认证的账号密码
elasticsearch.username: "elastic"
elasticsearch.password: "elastic"

• 输入ps -ef|grep kibana，再输入kill -9 73749杀进程
  
• 输入

cd ..

• 回到kibana主目录，再输入

nohup ./bin/kibana --allow-root &

• 后台启动kibana
• 访问

http://[ip]:5601

• 即可看到Kibana已需要使用账号密码进行访问，输入后可显示默认页面
  

五、ELK集成Apm配置

• 进入Apm官网选择LINUX X86_64进行下载，首次/偶尔访问有些慢，建议合理使用科学上网工具进行访问。
• 选择7.15.1版本进行下载，接着使用XShell新建文件传输，将文件拖进xshell直接传输到虚拟机或服务器上
  
• 打开新建文件传输点击取消即可打开sftp窗口
  
• 切换当前目录到project目录

cd /project

• 将下载好的安装包拖入虚拟机或服务器，窗口挂着等待上传完成。
  
• 再打开一个窗口或是回到原命令行窗口输入

cd /project

• 切换当前目录到project目录。
• 输入

tar xzvf apm-server-7.15.1-linux-x86_64.tar.gz

• 进行解压
  
• 输入

cd apm-server-7.15.1-linux-x86_64/

• 进入目录，接着输入

nohup ./apm-server -e &

• 后台运行apm
• 使用命令

firewall-cmd --zone=public --add-port=8200/tcp --permanent

• 在linux系统防火墙开启8200端口
• 若是腾讯云服务器则需要打开对应8200防火墙端口，若是阿里云服务器则需要打开对应8200安全组端口
• 后续跑服务再接入配置即可。