Prometheus监控cpu+disk+filesystem+memory+network资源

文章目录1.概念2.CPU2.1 查看node_exporter采集cpu数据2.2 Prometheus 页面查询2.2.1 CPU 在每种模式下工作的秒数2.2.2 获取cpu众多值中的一个2.2.3 获取1m中内的数据变化通过increase()2.2.4 获取1m中内的数据变化和2.2.5 获取1m中内指定job的数据变化和2.2.6 将sum加和一起的数值按照指定的方式进行一层拆分2.2

@TangXin

13261人浏览 · 2020-04-21 11:16:43

@TangXin · 2020-04-21 11:16:43 发布

1.概念

名词	解释
`CPU利用率`	CPU的使用情况
`用户时间` (User time)	表示CPU执行用户进程的时间，包括nices时间。通常期望用户空间CPU越高越好
`系统时间` (System time)	表示CPU在内核运行时间，包括IRQ和softirq时间。系统CPU占用率高，表明系统某部分存在瓶颈。通常值越低越好
`等待时间` (Waiting time)	CPU在等待I/O操作完成所花费的时间。系统不应该花费大量时间来等待I/O操作，否则就说明I/O存在瓶颈
`空闲时间` (Idle time)	系统处于空闲期，等待进程运行
`Nice时间` (Nice time)	系统调整进程优先级所花费的时间
`硬中断处理时间` (HardIrq time)	系统处理硬中断所花费的时间
`软中断处理时间` (SoftIrq time)	系统处理软中断中断所花费的时间
`丢失时间` (Steal time)	被强制等待（involuntary wait）虚拟CPU的时间，此时hypervisor在为另一个虚拟处理器服务

2.CPU

2.1 查看node_exporter采集cpu数据

cpu
curl http://IP:9100/metrics | grep cpu | grep -Ev “^$|#”

node_cpu_seconds_total{cpu="0",mode="idle"} 513260.82
node_cpu_seconds_total{cpu="0",mode="iowait"} 172.83
node_cpu_seconds_total{cpu="0",mode="irq"} 0
node_cpu_seconds_total{cpu="0",mode="nice"} 0.35
node_cpu_seconds_total{cpu="0",mode="softirq"} 29.62
node_cpu_seconds_total{cpu="0",mode="steal"} 0
node_cpu_seconds_total{cpu="0",mode="system"} 731.93
node_cpu_seconds_total{cpu="0",mode="user"} 869.46
......

后面的数字是cpu的使用时间

2.2 Prometheus 页面查询

2.2.1 CPU 在每种模式下工作的秒数

显示所有节点 CPU 在每种模式下工作的秒数

node_cpu_seconds_total{cpu=“0”,mode=“idle”} 513260.82
表示节点的 CPU 第0核的空闲时间共计 513260.82 秒，数值从系统开机时算起，重启归零

node_cpu_seconds_total

2.2.2 获取cpu众多值中的一个

如何获取cpu众多值中的一个？例如idle(空闲cpu)
表达式 (key的过滤是通过 { } 实现的 )

node_cpu_seconds_total{mode=“idle”}

2.2.3 获取1m中内的数据变化通过increase()

increase(node_cpu_seconds_total{mode=“idle”}[1m])

2.2.4 获取1m中内的数据变化和

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m]))

2.2.5 获取1m中内指定job的数据变化和

sum(increase(node_cpu_seconds_total{job=“manager.rancher”,mode=“idle”}[1m]))

2.2.6 将sum加和一起的数值按照指定的方式进行一层拆分

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance)

2.2.7 获取空闲cpu 1m的百分比

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)
或
(sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance) )

2.2.8 获取非空闲cpu 1m的百分比

(1- (sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

2.2.9 获取 user 1m内cpu使用率

(sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100
或
((sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

2.2.10 获取sys 1m内cpu使用率

(sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100
或
((sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

3.DISK

3.1 查看node_exporter采集disk数据

disk
curl http://IP:9100/metrics | grep disk | grep -Ev “^$|#”

node_disk_io_now{device="dm-0"} 0
node_disk_io_now{device="dm-1"} 0
node_disk_io_now{device="sda"} 0
node_disk_io_now{device="sr0"} 0
node_disk_io_time_seconds_total{device="dm-0"} 3995.319
node_disk_io_time_seconds_total{device="dm-1"} 1.667
node_disk_io_time_seconds_total{device="sda"} 4007.9010000000003
node_disk_io_time_seconds_total{device="sr0"} 0.221
node_disk_io_time_weighted_seconds_total{device="dm-0"} 32524.68
node_disk_io_time_weighted_seconds_total{device="dm-1"} 1.825
node_disk_io_time_weighted_seconds_total{device="sda"} 31310.613
node_disk_io_time_weighted_seconds_total{device="sr0"} 0.289
......

3.2 Prometheus 页面查询

3.2.1 磁盘 1m 读取速率

irate(node_disk_reads_completed_total[1m])

3.2.2 磁盘 1m 写入速率

irate(node_disk_writes_completed_total[1m])

3.2.3 磁盘 1m 读延迟(ms)

irate(node_disk_read_time_seconds_total[1m])

3.2.4 磁盘 1m 写延迟(ms)

irate(node_disk_write_time_seconds_total[1m])

4.FILESYSTEM

4.1 查看node_exporter采集filesystem数据

filesystem
curl http://IP:9100/metrics | grep filesystem | grep -Ev “^$|#”

node_filesystem_files{device="/dev/loop0",fstype="iso9660",mountpoint="/rootfs/media/centos7"} 0
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/hostname"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/hosts"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/resolv.conf"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/rootfs"} 5.28224256e+08
node_filesystem_files{device="/dev/sda2",fstype="xfs",mountpoint="/rootfs/boot"} 256000
node_filesystem_files{device="nfsd",fstype="nfsd",mountpoint="/host/proc/fs/nfsd"} 0
node_filesystem_files{device="nfsd",fstype="nfsd",mountpoint="/rootfs/proc/fs/nfsd"} 0
node_filesystem_files{device="rootfs",fstype="rootfs",mountpoint="/"} 5.28224256e+08
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/host/sys/fs/cgroup"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/dev/shm"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/run"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/run/user/0"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/sys/fs/cgroup"} 2.053849e+06
......

4.2 Prometheus 页面查询

4.2.1 硬盘空间百分比

((node_filesystem_size_bytes{mountpoint ="/"} - node_filesystem_free_bytes{mountpoint ="/"}) / node_filesystem_size_bytes{mountpoint ="/"})*100

4.2.2 硬盘使用百分比

((node_filesystem_size_bytes - node_filesystem_free_bytes) / node_filesystem_size_bytes)*100

5.MEMORY

5.1 查看node_exporter采集memory数据

memory
curl http://IP:9100/metrics | grep memory | grep -Ev “^$|#”

node_memory_Active_bytes 2.446708736e+09
node_memory_Active_file_bytes 1.618874368e+09
node_memory_AnonHugePages_bytes 3.69098752e+08
node_memory_AnonPages_bytes 8.2724864e+08
node_memory_Bounce_bytes 0
node_memory_Buffers_bytes 1.019904e+07
node_memory_Cached_bytes 4.11009024e+09
node_memory_CommitLimit_bytes 8.412565504e+09
node_memory_Committed_AS_bytes 3.562274816e+09
node_memory_DirectMap1G_bytes 1.2884901888e+10
node_memory_DirectMap2M_bytes 6.209667072e+09
node_memory_DirectMap4k_bytes 2.326528e+08
node_memory_Dirty_bytes 77824
......

5.2 Prometheus 页面查询

5.2.1 内存使用率

(1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes)))* 100

6.NETWORK

6.1 查看node_exporter采集network数据

network
curl http://IP:9100/metrics | grep network | grep -Ev “^$|#”

node_network_transmit_bytes_total{device="eth0"} 2.3566998e+08
node_network_transmit_bytes_total{device="lo"} 0
node_network_transmit_carrier_total{device="eth0"} 0
node_network_transmit_carrier_total{device="lo"} 0
node_network_transmit_colls_total{device="eth0"} 0
node_network_transmit_colls_total{device="lo"} 0
node_network_transmit_compressed_total{device="eth0"} 0
node_network_transmit_compressed_total{device="lo"} 0
node_network_transmit_drop_total{device="eth0"} 0
node_network_transmit_drop_total{device="lo"} 0
node_network_transmit_errs_total{device="eth0"} 0
node_network_transmit_errs_total{device="lo"} 0
node_network_transmit_fifo_total{device="eth0"} 0
node_network_transmit_fifo_total{device="lo"} 0
node_network_transmit_packets_total{device="eth0"} 68543
node_network_transmit_packets_total{device="lo"} 0
node_network_transmit_queue_length{device="eth0"} 0
node_network_transmit_queue_length{device="lo"} 1
......