Linux云计算 |【第二阶段】SECURITY-DAY3

Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化

小安运维日记

1416人浏览 · 2024-08-22 14:06:05

小安运维日记 · 2024-08-22 14:06:05 发布

主要内容：

Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化

补充：Zabbix监控软件不自带LNMP和DB数据库，需要自行手动安装配置；Prometheus监控软件自带WEB页面和DB数据库；Prometheus数据库为时序数据库，Zabbix数据库为关系型数据库；

一、Prometheus概述

Prometheus 是一个开源的系统监控和警报工具包，最初由 SoundCloud 开发，并于2012年首次发布。Prometheus 在2016年加入云原生计算基金会（CNCF），成为继 Kubernetes 之后的第二个托管项目。Prometheus 以其强大的数据模型、灵活的查询语言和高效的存储机制而闻名，已成为云原生和容器化环境中的监控标准之一。

主要功能：

数据模型：

Prometheus 采用时间序列数据模型，存储多维度的度量指标。
每个时间序列由指标名称和一组键值对（标签）唯一标识。

查询语言：

Prometheus 提供了一种名为 PromQL（Prometheus Query Language）的强大查询语言，用于实时查询和分析时间序列数据。
PromQL 支持复杂的查询、聚合和数据转换操作。

数据收集：

Prometheus 通过拉取（pull）模型从目标系统收集数据，目标系统通常通过 HTTP 接口暴露度量指标。
支持通过中间代理（如 Pushgateway）处理推送（push）模型。

告警管理：

Prometheus 提供了一个独立的告警管理组件，称为 Alertmanager，用于处理、去重、分组和路由告警。
Alertmanager 支持多种通知方式，包括电子邮件、Slack、PagerDuty 等。

可视化：

Prometheus 自带一个简单的图形界面，用于基本的数据查看和查询。
通常与 Grafana 集成，提供更强大的可视化和仪表板功能。

存储：

Prometheus 将数据存储在本地磁盘上，采用自定义的存储引擎，高效地处理大量时间序列数据。
支持通过远程存储接口与外部存储系统集成。

Prometheus架构图：

Prometheus 的架构主要包括以下组件：

Prometheus Server：核心组件，负责数据收集、存储和查询。
Exporters：用于暴露现有应用程序或系统的度量指标，如 Node Exporter、MySQL Exporter 等。
Pushgateway：用于处理短期任务或批处理作业的度量指标推送。
Alertmanager：处理告警，支持去重、分组和通知路由。
Web UI / Grafana：用于数据可视化和仪表板展示。

优势：

开源：免费使用，社区支持活跃。
强大的数据模型和查询语言：支持多维度数据模型和灵活的 PromQL 查询语言。
高效的存储机制：自定义的存储引擎，适合处理高吞吐量的时间序列数据。
灵活的告警管理：独立的 Alertmanager 组件，支持复杂的告警规则和通知机制。
云原生支持：原生支持 Kubernetes 和其他云原生技术，适合容器化环境。

应用场景：

Prometheus 适用于各种监控场景，特别是云原生和容器化环境，包括：

容器和微服务监控
基础设施监控（如服务器、网络设备）
应用程序性能监控
持续集成和持续交付（CI/CD）管道监控
云环境和虚拟化监控

案例1：Prometheus监控服务器

案例要求：部署prometheus监控服务器，完成以下任务：

1）安装监控服务器
2）修改配置文件
3）编写service文件，管理服务
4）查看监控数据

主机分配表（主机系统均为CentOS7，提前配置IP、主机名、系统YUM源）

实验拓扑图：

步骤1：设置防火墙和SELinux限制

[root@prometheus ~]#firewall-cmd --set-default-zone=trusted
[root@prometheus ~]#setenforce 0
[root@prometheus ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2：部署服务端监控软件（prometheus操作）

1）安装prometheus软件（可参考/linux-soft/2/prometheus_soft.tar.gz）

[root@prometheus ~]# tar -xf prometheus_soft.tar.gz
[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
1-cpu_rev2.json
1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json
alertmanager-0.20.0.linux-386.tar.gz
grafana-6.7.3-1.x86_64.rpm
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
prometheus-2.17.2.linux-386.tar.gz
pushgateway-1.2.0.linux-amd64.tar.gz

[root@prometheus prometheus_soft]# tar -xf prometheus-2.17.2.linux-386.tar.gz    //解压软件压缩包
[root@prometheus prometheus_soft]# ls prometheus-2.17.2.linux-386/
console_libraries  LICENSE  prometheus      promtool
consoles           NOTICE   prometheus.yml  tsdb
[root@prometheus prometheus_soft]# mv prometheus-2.17.2.linux-386 /usr/local/prometheus     //移动到/usr/local/prometheus（类似tomcat）
[root@prometheus prometheus_soft]# ls /usr/local/prometheus/

Prometheus软件解压即可直接执行；

2）修改prometheus配置文件（添加Target监控对象）

配置文件：prometheus.yml //文件为YAML格式
格式：/usr/local/prometheus/promtool check config 配置文件 //检查语法错误

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
...
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']   //配置抓取目标，被监控端主机和端口

解释：targets监控对象，指定需被监控的主机IP:端口号（192.168.4.10:9090监控本机，端口9090）

检查配置配置文件是否有语法错误

[root@prometheus ~]# /usr/local/prometheus/promtool check config \
> /usr/local/prometheus/prometheus.yml
Checking /usr/local/prometheus/prometheus.yml
  SUCCESS: 0 rule files found     //语法没有错误（仅供参考）

3）编写服务service文件，使用systemd管理服务（端口9090）

[root@prometheus ~]# vim /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Monitoring System
Documentation=Prometheus Monitoring System
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml   
[Install]
WantedBy=multi-user.target
[root@prometheus ~]# systemctl enable prometheus.service --now  //设置服务开机自启并立刻启动
[root@prometheus ~]# ss -nlptu | grep :9090
tcp    LISTEN     0      128      :::9090                 :::*                   users:(("prometheus",pid=764,fd=6))

补充：--config指定配置文件位置，在启动服务时可找到该文件

步骤3：登录Prometheus监控控制台

1）查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，可看到监控控制台首页；

查看监控主机，点击【Status】-->【Targets】，可查看监控到的对象主机；

点击http://192.168.4.10:9090/metrics，可查看到该主机的监控数据（可视化效果不佳）

通过【Graph】，选择监控数据，如go_memstats_alloc_bytes，点击<Execute>执行，可查看具体某个监控数据和Value；

点击<Graph>，可查看选择的监控数据对应的监控图形

常见错误：No datapoints found.

思路分析：

1）防火墙与SELinux是否限制；
2）配置文件中的targets是否没有数据；
3）检查Prometheus.service服务是否启动（端口9090）
4）没有数据库的目录，在Service文件里添加--storage.tsdb.path=/usr/local/prometheus/data/
5）Prometheus时间与创建历史时间不对

解决办法：

Servies服务可手动启动服务：/usr/local/prometheus/prometheus \

--config.file=/usr/local/prometheus/prometheus.yml

二、被监控端

1）监控方式

Prometheus客户端分为pull和push两种提交数据的方式：

① Pull：监控服务端主动向被监控端拉取数据，这样需要在被监控端上安装exporters（导出器）作为守护进程；
② Push：被监控端需安装pushgateway插件，然后由运维人员通过脚本将监控数据组织成键值形式提交给pushgateway，再由该插件提交给监控服务端；

2）Exporter导出器

按照监控要求实现什么类型的监控，则需要单独安装exporter(导出器)，可参考官网开源的exporter，解压即可直接运行。

补充：广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter，而Exporter的一个实例称为target；

案例2：Prometheus被监控端

案例要求：配置Prometheus被监控端主机，主要完成以下任务：

1）安装被监控端软件（exporter监控导出器）
2）编写service文件，使用systemd管理服务
3）修改监控服务器配置文件
4）查看监控数据

步骤1：设置防火墙与SELinux限制

[root@node1 ~]#firewall-cmd --set-default-zone=trusted
[root@node1 ~]#setenforce 0
[root@node1 ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2：部署被控制端软件（node1操作）

1）安装node_export导出器（可参考/linux-soft/2/prometheus_soft.tar.gz）

[root@node1 ~]# tar -xf prometheus_soft.tar.gz
[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
...
[root@node1 prometheus_soft]# tar -xf node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls node_exporter-1.0.0-rc.0.linux-amd64
LICENSE  node_exporter  NOTICE
[root@node1 prometheus_soft]# mv node_exporter-1.0.0-rc.0.linux-amd64 /usr/local/node_exporter
[root@node1 prometheus_soft]# ls /usr/local/node_exporter

2）编写服务service文件，使用systemd管理服务（端口9100）

[root@node1 ~]# vim /usr/lib/systemd/system/node_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable node_exporter --now   //设置服务开机自启并立刻启动
[root@node1 ~]# ss -nlptu | grep :9100
tcp    LISTEN     0      128      :::9100                 :::*                   users:(("node_exporter",pid=898,fd=3))

步骤3：修改监控服务器的配置文件（Prometheus操作）

1）修改配置文件

参考配置文件的监控任务模板，在【scrape_configs:】下添加3行新内容，具体内容如下：

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']
  - job_name: 'node1'                  //监控任务名称（可任意）
    static_configs:
    - targets: ['192.168.4.11:9100']    //被监控端主机和端口
[root@prometheus ~]# systemctl restart prometheus.service     //重启服务

步骤4：登录Prometheus监控控制台

1) 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，进入监控首页，通过【Status】-->【Targets】，查看监控主机列表，验证是否有新增监控对象主机（确保被监控端服务正常开启，端口9100）

选择具体的监控数据（例如node_load1平均负载量1分钟），点击<Graph>，可查看选择的监控数据对应的监控图形

三、Grafana概述

Grafana 是一个开源的分析和交互式可视化平台，专门用于监控和分析时间序列数据。它由 Torkel Ödegaard 创建，并于2014年首次发布。Grafana 以其强大的可视化能力、灵活的仪表板和插件生态系统而闻名，已成为监控领域的重要工具之一。

主要功能：

数据源支持：

Grafana 支持多种数据源，包括 Prometheus、Graphite、InfluxDB、Elasticsearch、MySQL、PostgreSQL 等。
用户可以从多个数据源中获取数据，并在同一个仪表板上进行可视化展示。

可视化：

提供丰富的可视化选项，包括图表、图形、表格、热图、仪表盘等。
支持自定义可视化，用户可以根据需要创建复杂的图表和仪表板。

仪表板：

提供灵活的仪表板功能，用户可以创建、编辑和共享仪表板。
支持变量（Variables）和模板（Templating），便于动态更新和过滤数据。

告警和通知：

支持基于仪表板数据的告警功能，可以在检测到异常时发送通知。
支持多种通知渠道，包括电子邮件、Slack、PagerDuty 等。

插件生态系统：

提供丰富的插件系统，用户可以扩展 Grafana 的功能，包括数据源插件、面板插件和应用插件。
社区活跃，不断有新的插件和功能被开发和发布。

权限管理：

支持基于角色的访问控制（RBAC），可以对用户和团队进行细粒度的权限管理。
支持 LDAP、OAuth 和其他认证方式。

Grafana 的架构主要包括以下组件：

Grafana Server：核心组件，负责处理请求、数据查询和可视化展示。
数据源：连接到各种时间序列数据库和监控系统，获取数据。
仪表板：用户定义的可视化界面，用于展示和分析数据。
插件系统：扩展 Grafana 功能的插件，包括数据源插件、面板插件和应用插件。

案例3：grafana可视化监控数据

案例要求：配置grafana实现数据可视化效果，完成以下任务：

1）安装Grafana
2）修改grafana配置
3）导入可视化模板
4）查看监控图表

步骤1：安装部署grafana（prometheus操作）

1）安装grafana软件（可参考/linux-soft/2/prometheus_soft.tar.gz）

[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
grafana-6.7.3-1.x86_64.rpm
...
[root@prometheus prometheus_soft]# yum -y install grafana-6.7.3-1.x86_64.rpm  //安装软件包（可在任何主机上安装）

2）启动服务

[root@prometheus ~]# systemctl enable grafana-server.service --now   //设置服务开机自启动服务并立刻启动
[root@prometheus ~]# ss -nlptu | grep :3000     //grafana服务端口3000
tcp    LISTEN     0      128      :::3000                 :::*                   users:(("grafana-server",pid=1201,fd=7))

3）登录可视化平台，重置登录密码

浏览器访问Grafana可视化平台http://192.168.4.10:3000，默认用户名和密码：admin

重置用户名和密码：admin（第一次登录，为了安全需要重置密码）

登录Grafana可视化平台后，显示首页页面内容，如图所示：

补充：浏览器兼容问题，可能无法重置密码，如果无法重置密码，则可设置grafana允许匿名登录，具体操作如下（非必要，不要执行如下操作）

[root@prometheus ~]# vim /etc/grafana/grafana.ini
[auth.anonymous]    //anonymous匿名的
enabled = true   //是否允许匿名
org_role = Admin   //以什么角色登录（Admin管理员用户）
[root@prometheus ~]# systemctl restart grafana-server.service   //修改后需重启服务

步骤2：配置Grafana

浏览器访问Grafana控制台，http://192.168.4.10:3000，添加数据源（有数据才能生成可视化图形）

1）添加数据源（查看Prometheus监控端的系统信息）

Grafana可以将数据图形化，点击【Add data source】，选择从【Prometheus】获取数据；

填写Prometheus的基本信息，URL指定：http://192.168.4.10:9090，从该URL获取数据源；

2）导入可视化模板

使用不同的可视化模板（折线图、饼图、热图等），可实现将不同的数据进行图形化展示，点击<Data Sources>，选择需要可视化的数据源（例如Prometheus-1）

点击【Dashboards商业智能仪表盘】，导入Prometheus 2.0 Stats图形化模板;

点击<Prometheus 2.0 Stats图形化模板>，可查看该模板下连接Prometheus数据源的可视化界面，如图所示：

步骤3：查看被监控主机的系统信息

1）导入主机监控的可视化模板（node_exporter模板）

模板：1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json

通过真机浏览器访问，所以需解压在真机目录下（可参考/linux-soft/2/prometheus_soft.tar.gz）

[root@localhost 桌面]# tar -xf /linux-soft/2/prometheus_soft.tar.gz    //解压压缩包

2）选择数据源

导入监控主机的可视化模板后，就可以查看主机的监控图形了，但该可视化图形的数据暂未获取，需要设置prometheus为数据源（Prometheus-1），完成后点击导入；

返回Grafana首页，点击node_exporter可视化模板，查看可视化监控图形；

最终的可视化界面，如图所示：

案例4：监控数据库

案例要求：使用prometheus监控MariaDB数据库，完成以下任务：

1）安装数据库
2）安装数据库exporter
3）配置数据库账户和密码
4）导入监控模板

步骤1：安装MariaDB（node1操作）

1）安装软件，启动服务

[root@node1 ~]# yum -y install mariadb-server
[root@node1 ~]# systemctl enable mariadb --now
[root@node1 ~]# ss -nlptu | grep :3306
tcp    LISTEN     0      50        *:3306                  *:*                   users:(("mysqld",pid=1415,fd=14))

2）创建数据库账户，配置密码

监控服务器需要监控数据库，需创建一个对数据库有权限的账户并配置密码。

[root@node1~]# mysql
MariaDB [(none)]> grant all on *.* to 'jerry'@'127.0.0.1' identified by '123';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> quit

解释：创建用户jerry，授予该用户对所有数据库和表拥有所有权限，可以从本机127.0.0.1登录服务器，密码为123

步骤2：部署被控制端软件

1）安装mysqld_exporter导出器（可参考/linux-soft/2/prometheus_soft.tar.gz）

[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
...
[root@node1 prometheus_soft]# tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls mysqld_exporter-0.12.1.linux-amd64
LICENSE  mysqld_exporter  NOTICE
[root@node1 prometheus_soft]# mv mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter

2）创建数据库配置文件.my.cnf，记录访问数据库信息

[root@node1 ~]# vim /usr/local/mysqld_exporter/.my.cnf
[client]
host=127.0.0.1    //数据库的主机
port=3306   //数据库的端口
user=jerry   //数据库的用户名
password=123   //数据库的密码

解释：创建数据库配置文件.my.cnf，在监控服务器访问被监控服务器的mysqld_exporter服务时，exporter会自动读取配置文件，使用配置文件用的账户和密码信息访问数据库，获取数据库监控信息；

3）编写服务service文件，使用systemd管理服务（端口9104）

[root@node1 ~]# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \
--config.my-cnf=/usr/local/mysqld_exporter/.my.cnf
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable mysqld_exporter --now
[root@node1 ~]# ss -nlptu | grep :9104
tcp    LISTEN     0      128      :::9104                 :::*                   users:(("mysqld_exporter",pid=1561,fd=3))

补充：--config是mysqld_exporter的选项，指定配置文件位置

步骤3：修改监控服务器的配置文件（Prometheus操作）

1）修改监控服务器配置文件

参考配置文件的监控任务模板，在【scrape_configs:】下添加3行新内容，具体内容如下：

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:    //抓取数据
...
  - job_name: 'mysql'     //监控任务的名称
    static_configs:
    - targets: ['192.168.4.11:9104']    //被监控主机IP和端口
[root@prometheus ~]# systemctl restart prometheus.service

解释：targets指定被监控主机192.168.4.11，端口9104，连接后pull拉取监控数据

步骤4：登录Prometheus监控控制台

1) 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090，进入监控首页，通过【Status】-->【Targets】，查看监控主机列表，验证是否有新增监控对象主机（确保被监控端服务正常开启，端口9104）