第10章：dstat与nmon

10.1 概述

工具定位

工具	全称	主要用途
dstat	Disk Statistics	多维度系统监控，替代vmstat/iostat/netstat
nmon	Nigel’s Monitor	系统性能监控，支持交互和批处理

为什么选择这两个工具

dstat - 多维度实时监控，插件丰富，CSV导出
nmon - 交互式界面，详细报告，适合AIX/Linux

与其他工具对比

特性	dstat	nmon	vmstat	iostat
CPU监控	✓	✓	✓	✗
内存监控	✓	✓	✓	✗
磁盘监控	✓	✓	✓	✓
网络监控	✓	✓	✗	✗
CSV导出	✓	✓	✗	✗
插件系统	✓	✗	✗	✗
交互界面	✗	✓	✗	✗

10.2 dstat详解

10.2.1 安装

# Debian/Ubuntu
sudo apt update
sudo apt install dstat

# CentOS/RHEL
sudo yum install dstat

# Fedora
sudo dnf install dstat

# Arch Linux
sudo pacman -S dstat

# pip安装
pip install dstat

10.2.2 基本用法

# 默认输出（CPU、磁盘、网络、分页、系统）
dstat

# 每2秒刷新，共10次
dstat 2 10

# 持续监控
dstat 1

10.2.3 输出解读

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw
  5   2  92   1   0   0| 123k  456k|   0     0 |   0     0 | 234  1234
  8   3  88   1   0   0| 234k  567k| 123k  456k|   0     0 | 345  2345
  6   2  91   1   0   0| 345k  678k| 234k  567k|   0     0 | 456  3456

字段详解：

面板	字段	含义
total-cpu-usage	usr	用户空间
	sys	内核空间
	idl	空闲
	wai	IO等待
	hiq	硬件中断
	siq	软件中断
dsk/total	read	磁盘读取
	writ	磁盘写入
net/total	recv	网络接收
	send	网络发送
paging	in	页面换入
	out	页面换出
system	int	中断数
	csw	上下文切换

10.2.4 常用选项

CPU选项：

dstat -c                    # CPU统计
dstat -C 0,1,total         # 指定CPU核心

磁盘选项：

dstat -d                    # 磁盘统计
dstat -D sda,sdb           # 指定磁盘

网络选项：

dstat -n                    # 网络统计
dstat -N eth0,eth1         # 指定接口

内存选项：

dstat -m                    # 内存统计
dstat -g                    # 页面统计
dstat -s                    # Swap统计

系统选项：

dstat -y                    # 系统统计（中断/上下文切换）
dstat -l                    # 负载统计
dstat -p                    # 进程统计

输出选项：

dstat --output output.csv   # 输出到CSV
dstat -t                    # 带时间戳
dstat --nocolor             # 无颜色

10.2.5 高级选项

组合选项：

# CPU + 磁盘 + 网络
dstat -c -d -n

# 所有统计
dstat -cdnmsgypl

# 指定间隔和次数
dstat -cdn 2 10

输出格式：

# CSV格式
dstat --output output.csv

# 带时间戳
dstat -t --output output.csv

# 无颜色（适合文件输出）
dstat --nocolor --output output.csv

10.2.6 插件系统

查看可用插件：

dstat --list

常用插件：

# CPU详细信息
dstat --cpu-adv

# 磁盘详细信息
dstat --disk-adv

# 网络详细信息
dstat --net-adv

# 内存详细信息
dstat --mem-adv

# top CPU消耗进程
dstat --top-cpu

# top 内存消耗进程
dstat --top-mem

# top IO消耗进程
dstat --top-io

# top 延迟进程
dstat --top-latency

# 电池状态
dstat --battery

# 温度
dstat --thermal

# NFS统计
dstat --nfs3

插件组合：

# CPU + 磁盘 + top进程
dstat -c -d --top-cpu --top-io

# 网络 + 内存 + top进程
dstat -n -m --top-mem

# 全面监控
dstat -cdnmsg --top-cpu --top-mem --top-io

10.2.7 CSV导出

基本导出：

# 导出到CSV
dstat --output /tmp/dstat.csv

# 带时间戳
dstat -t --output /tmp/dstat.csv

# 指定间隔
dstat -cdn 5 --output /tmp/dstat.csv

高级导出：

# 导出5分钟数据，每秒采样
dstat -cdn -t 1 300 --output /tmp/dstat_5min.csv

# 后台运行
nohup dstat -cdn -t 60 --output /tmp/dstat_hourly.csv &

CSV分析：

# 查看CSV文件
head -20 /tmp/dstat.csv

# 使用awk分析
awk -F',' '{print $1, $2}' /tmp/dstat.csv

# 使用Python分析
python3 << EOF
import pandas as pd
df = pd.read_csv('/tmp/dstat.csv', skiprows=5)
print(df.describe())
EOF

10.2.8 实战场景

场景1：CPU瓶颈分析

# 监控CPU和IO
dstat -c -d --top-cpu --top-io

场景2：内存使用监控

# 监控内存和Swap
dstat -m -s --top-mem

场景3：网络流量分析

# 监控网络流量
dstat -n -N eth0,total

场景4：磁盘IO分析

# 监控磁盘IO
dstat -d -D sda,total --top-io

场景5：性能基准测试

# 记录10分钟性能数据
dstat -cdnmsg -t 1 600 --output /tmp/benchmark.csv

10.3 nmon详解

10.3.1 安装

# Debian/Ubuntu
sudo apt update
sudo apt install nmon

# CentOS/RHEL
sudo yum install nmon

# Fedora
sudo dnf install nmon

# Arch Linux
sudo pacman -S nmon

# 从源码编译
wget http://sourceforge.net/projects/nmon/files/nmon16e_x86.tar.gz
tar xzf nmon16e_x86.tar.gz
chmod +x nmon16e_x86_linux
sudo mv nmon16e_x86_linux /usr/local/bin/nmon

10.3.2 基本使用

# 交互式界面
nmon

# 后台采集模式
nmon -f -s 10 -c 360

# 参数说明
# -f: 输出到文件
# -s 10: 每10秒采集一次
# -c 360: 采集360次（共1小时）

10.3.3 交互界面

┌───────────────────────────────────────────────────────────────────────┐
│   nmon - [H for help]                              14:32:15          │
├───────────────────────────────────────────────────────────────────────┤
│  CPU   │  Memory  │  Disk   │  Network │  Top Processes              │
│  ┌───┐ │  ┌─────┐ │  ┌───┐ │  ┌─────┐ │  ┌───────────────────────┐  │
│  │███│ │  │████ │ │  │██ │ │  │████ │ │  │ PID   CPU%  MEM%  CMD │  │
│  │███│ │  │████ │ │  │██ │ │  │████ │ │  │ 1234  45.2  12.3  nginx│  │
│  │███│ │  │████ │ │  │██ │ │  │████ │ │  │ 5678  23.1  34.5  mysqld│ │
│  └───┘ │  └─────┘ │  └───┘ │  └─────┘ │  └───────────────────────┘  │
└───────────────────────────────────────────────────────────────────────┘

交互命令：

按键	功能
`h`	帮助
`q`	退出
`c`	CPU统计
`m`	内存统计
`d`	磁盘统计
`n`	网络统计
`k`	内核统计
`j`	文件系统
`t`	top进程
`l`	长期CPU
`.`	只显示忙碌磁盘
`+`	增加刷新间隔
`-`	减少刷新间隔
`0`	重置峰值

10.3.4 详细统计

CPU统计：

# 按c显示CPU
# 显示每个CPU核心的使用率

内存统计：

# 按m显示内存
# 显示物理内存、虚拟内存、Swap

磁盘统计：

# 按d显示磁盘
# 显示每个磁盘的读写速率、使用率

网络统计：

# 按n显示网络
# 显示每个接口的流量

Top进程：

# 按t显示top进程
# 显示CPU/内存消耗最高的进程

10.3.5 批处理模式

采集数据：

# 采集1小时数据，每10秒一次
nmon -f -s 10 -c 360

# 采集24小时数据，每60秒一次
nmon -f -s 60 -c 1440

# 采集到指定文件
nmon -f -s 10 -c 360 -F /tmp/perf.nmon

参数说明：

参数	含义	示例
`-f`	输出到文件	`nmon -f`
`-s`	采集间隔（秒）	`-s 10`
`-c`	采集次数	`-c 360`
`-F`	指定文件名	`-F perf.nmon`
`-t`	包含top进程	`-t`
`-T`	包含线程	`-T`
`-d`	磁盘统计	`-d`
`-g`	用户定义组	`-g group`

10.3.6 输出文件

文件命名：

# 默认命名格式
hostname_YYMMDD_HHMM.nmon

# 示例
server1_260510_1432.nmon

文件位置：

# 默认在当前目录
ls *.nmon

# 指定位置
nmon -f -F /var/log/nmon/perf.nmon

文件内容：

# 查看nmon文件
head -100 hostname_YYMMDD_HHMM.nmon

# 包含以下部分
# CPU_ALL - CPU统计
# MEM - 内存统计
# DISKREAD - 磁盘读
# DISKWRITE - 磁盘写
# NET - 网络统计
# TOP - top进程

10.3.7 数据分析工具

nmon analyser（Excel）：

1. 下载nmon analyser Excel模板
2. 将.nmon文件导入Excel
3. 自动生成图表和报告

nmonchart：

# 安装
pip install nmonchart

# 生成HTML图表
nmonchart hostname_YYMMDD_HHMM.nmon

# 生成的HTML文件可以在浏览器中查看

nmon2web：

# 安装
git clone https://github.com/agoel00/nmon2web.git
cd nmon2web
pip install -r requirements.txt

# 生成Web报告
python nmon2web.py hostname_YYMMDD_HHMM.nmon

10.3.8 定时采集

cron配置：

# 编辑crontab
crontab -e

# 每天凌晨1点开始采集24小时数据
0 1 * * * /usr/bin/nmon -f -s 60 -c 1440 -F /var/log/nmon/$(hostname)_$(date +\%Y\%m\%d).nmon

# 每小时采集10分钟数据
0 * * * * /usr/bin/nmon -f -s 10 -c 60 -F /var/log/nmon/$(hostname)_$(date +\%Y\%m\%d_\%H).nmon

systemd服务：

# /etc/systemd/system/nmon.service
[Unit]
Description=NMON Performance Monitor
After=network.target

[Service]
Type=simple
ExecStart=/usr/bin/nmon -f -s 60 -c 1440 -F /var/log/nmon/%H_%Y%m%d.nmon
Restart=always
RestartSec=60

[Install]
WantedBy=multi-user.target

# 启用服务
sudo systemctl enable nmon
sudo systemctl start nmon

10.3.9 高级配置

自定义统计项：

# 只采集CPU和内存
nmon -f -s 10 -c 360 -c -m

# 只采集磁盘
nmon -f -s 10 -c 360 -d

# 只采集网络
nmon -f -s 10 -c 360 -n

包含线程信息：

nmon -f -s 10 -c 360 -T

包含top进程：

nmon -f -s 10 -c 360 -t

10.3.10 实战场景

场景1：长期性能监控

# 采集24小时数据
nmon -f -s 60 -c 1440 -F /var/log/nmon/perf_24h.nmon

# 分析数据
nmonchart /var/log/nmon/perf_24h.nmon

场景2：性能基准测试

# 采集10分钟数据
nmon -f -s 1 -c 600 -F /tmp/benchmark.nmon

# 运行测试
./benchmark_test

# 分析结果
nmonchart /tmp/benchmark.nmon

场景3：问题排查

# 采集1小时数据
nmon -f -s 10 -c 360 -F /tmp/troubleshoot.nmon

# 复现问题
# ...

# 分析数据
nmonchart /tmp/troubleshoot.nmon

场景4：容量规划

# 每天采集数据
# cron: 0 0 * * * nmon -f -s 60 -c 1440 -F /var/log/nmon/$(date +\%Y\%m\%d).nmon

# 月度分析
# 分析每天的数据，识别趋势

10.4 dstat vs nmon对比

特性	dstat	nmon
界面	终端文本	交互式
实时监控	✓	✓
历史数据	CSV	nmon文件
插件系统	✓	✗
图表生成	✗	✓
资源消耗	低	低
适用场景	实时监控	历史分析

选择建议

选择dstat：

需要实时监控
需要插件扩展
需要CSV导出
轻量级需求

选择nmon：

需要历史分析
需要图表报告
AIX/Linux混合环境
长期数据采集

10.5 综合应用

10.5.1 dstat + nmon组合

# 实时监控用dstat
dstat -cdn --top-cpu --top-io

# 历史数据用nmon
nmon -f -s 60 -c 1440

# 结合使用
# dstat用于实时排查
# nmon用于长期记录

10.5.2 自动化脚本

#!/bin/bash
# perf_monitor.sh

LOG_DIR="/var/log/performance"
mkdir -p $LOG_DIR

# 启动nmon（后台记录）
nmon -f -s 60 -c 1440 -F $LOG_DIR/$(hostname)_$(date +%Y%m%d).nmon

# 启动dstat（实时显示）
dstat -cdn --top-cpu --top-io

10.5.3 数据整合

#!/bin/bash
# perf_report.sh

# 收集dstat数据
dstat -cdn -t 1 60 --output /tmp/dstat.csv

# 收集nmon数据
nmon -f -s 1 -c 60 -F /tmp/perf.nmon

# 生成报告
nmonchart /tmp/perf.nmon /tmp/report.html

echo "报告生成完成: /tmp/report.html"

10.6 性能开销

工具	CPU占用	内存占用	磁盘占用
dstat	<1%	<10MB	取决于输出
nmon	<1%	<10MB	~1MB/小时

10.7 故障排查

问题1：dstat命令未找到

# 检查是否安装
which dstat

# 安装
sudo apt install dstat  # Debian/Ubuntu
sudo yum install dstat  # CentOS/RHEL

问题2：nmon输出文件为空

# 检查权限
ls -la /var/log/nmon/

# 手动运行测试
nmon -f -s 1 -c 10

# 检查输出
ls -la *.nmon

问题3：dstat插件不可用

# 列出可用插件
dstat --list

# 检查插件路径
ls /usr/share/dstat/

问题4：nmon文件分析失败

# 检查文件完整性
head -20 perf.nmon

# 使用nmonchart
nmonchart perf.nmon

# 检查错误
nmonchart perf.nmon 2>&1 | grep error

10.8 扩展阅读

10.9 快速参考

dstat快速参考

# 基本用法
dstat                    # 默认统计
dstat 2 10              # 2秒间隔，10次
dstat -cdn              # CPU、磁盘、网络

# 详细统计
dstat --cpu-adv          # CPU详细
dstat --disk-adv         # 磁盘详细
dstat --net-adv          # 网络详细

# Top进程
dstat --top-cpu          # top CPU进程
dstat --top-mem          # top 内存进程
dstat --top-io           # top IO进程

# 输出
dstat --output file.csv  # CSV输出
dstat -t                 # 带时间戳
dstat --nocolor          # 无颜色

nmon快速参考

# 交互模式
nmon                    # 启动交互界面

# 批处理模式
nmon -f                 # 输出到文件
nmon -f -s 10 -c 360   # 10秒间隔，360次
nmon -f -F perf.nmon    # 指定文件名

# 交互键
h    # 帮助
q    # 退出
c    # CPU
m    # 内存
d    # 磁盘
n    # 网络
t    # top进程

10.10 本章小结

本章详细介绍了dstat和nmon的使用：

dstat - 多维度实时监控
- 替代vmstat/iostat/netstat
- 插件系统扩展
- CSV导出功能
- 轻量级实时监控
nmon - 系统性能监控
- 交互式界面
- 批处理数据采集
- 图表报告生成
- 长期历史分析
综合应用：
- 实时监控：dstat
- 历史分析：nmon
- 组合使用效果最佳
实战场景：
- 性能基准测试
- 问题排查
- 容量规划

dstat适合实时监控，nmon适合历史分析，两者结合使用能满足大多数监控需求。

上一章: 第9章：Glances详解 下一章: 第11章：Docker容器监控

强曰为道

第10章：dstat与nmon

第10章：dstat与nmon

10.1 概述

工具定位

为什么选择这两个工具

与其他工具对比

10.2 dstat详解

10.2.1 安装

10.2.2 基本用法

10.2.3 输出解读

10.2.4 常用选项

10.2.5 高级选项

10.2.6 插件系统

10.2.7 CSV导出

10.2.8 实战场景

10.3 nmon详解

10.3.1 安装

10.3.2 基本使用

10.3.3 交互界面

10.3.4 详细统计

10.3.5 批处理模式

10.3.6 输出文件

10.3.7 数据分析工具

10.3.8 定时采集

10.3.9 高级配置

10.3.10 实战场景

10.4 dstat vs nmon对比

选择建议

10.5 综合应用

10.5.1 dstat + nmon组合

10.5.2 自动化脚本

10.5.3 数据整合

10.6 性能开销

10.7 故障排查

问题1：dstat命令未找到

问题2：nmon输出文件为空

问题3：dstat插件不可用

问题4：nmon文件分析失败

10.8 扩展阅读

10.9 快速参考

dstat快速参考

nmon快速参考

10.10 本章小结