性能测试中,服务器监控,NMON监控指标说明

2017-01-01 10:46

nmon 在服务器的使用
如何获取nmon呢?我们可以在IBM的官方网站上免费下载获取,下载网址为:http://www.ibm.com/developerworks/wikis/display/WikiPtype/nmon

我在ubuntu中 这样安装:apt-get install nmon

nmon -f -s 5 -c 500 每5秒采集一次,一共采集500次
-f:按标准格式输出文件:_YYYYMMDD_HHMM.nmon
-s300 -c288 300*288=86400 秒,正好是一天的数据。

此时这样就已经会自动生成一个.nmon文件了,这个文件可以直接放到nmon_analyse 中分析即可生成报表
mon 输出文件的命名方式是服务器名_日期时间.nmon

通过以下命令,将.nmon文件转化成.csv文件,在当前目录生成对应的.csv文件

sort BOSS1_110810_1438.nmon>BOSS1_110810_1438.csv

最后把放到nmon_analyse 分析既可以了

nmon_analyse 数据详情
性能测试中,服务器监控,NMON监控指标说明

一、NMON中的各项参数指标:

SYS_SUMM:显示当前服务器的总体性能情况

Total System I/OStatistics:
Avg tps during an interval:显示采集间隔内磁盘平均I/O次数,该值等于Sheet DISK_SUMM中IO/sec列的平均值。
Max tps during an interval:显示采集间隔内磁盘最大I/O次数,该值等于Sheet DISK_SUMM中IO/sec列的最大值。
Max tps interval time:显示磁盘最大I/O所在时间点。
Total number of Mbytes read:显示采集间隔内磁盘读的总兆字节数,可能是nmon的bug,该值并不准确,并且使用LVM划分的虚拟磁盘可能会存在重复统计。
Total number of Mbytes written:显示采集间隔内磁盘写的总兆字节数,该值并不准确,理由同上。
Read/Write Ratio:显示Total number of Mbytes read/ Total number of Mbytes written的值。 实时读写比率
IO/sec:仅显示磁盘IO/sec的图,不包括Network的I/O。 每秒钟输出到物理磁盘的传输次数

如下图:

Paste_Image.png

CPU:
Users%:显示采集间隔内所有CPU在User Mode下的Time占比(Avg、Max)。
Sys%:显示采集间隔内所有CPU在System Mode下的Time占比(Avg、Max)。
Wait%:显示采集间隔内所有CPU处于空闲且等待I/O完成的时间比例(Wait%是CPU空闲状态的一种,当CPU处于空闲状态而又有进程处于D状态(不可中断睡眠)时,系统会统计这时的时间,并计算到Wait%里),Wait%不是一个时间值,而是时间的比例,因此在同样I/O Wait时间下,服务器CPU越多,Wait%越低,它体现了I/O操作与计算操作之间的比例。对I/O密集型的应用来说一般Wait%较高,且Sheet PROC中Blocked也较高,这时需关注是什么导致了过多的进程等待。
Idle%:显示采集间隔内所有CPU处于空闲Time的占比(Avg、Max)。
CPU%:显示采集间隔内所有CPU的user%+system%。

  1. AAA 显示当前服务器基本信息,如操作系统版本,当前LPAR名,采集时间和次数等如下图

Paste_Image.png

  1.    StrayLines

    显示本次nmon分析文件中未生成的采集值。

  2.    BBBP

    由于本Sheet内容较多,见下图(部分截图):

Paste_Image.png

如上图,显示当前服务器的基础资源信息,当前服务器操作系统是cent os版本

MemTotal:显示当前服务器物理内存大小,本服务器有8063180 KB≈7874 MB左右。
MemFree:显示当前服务器的空闲内存大小,本服务器有5052336 KB≈4934 MB左右。
Buffers:显示当前服务器Buffer(在内存中要写到磁盘上的)缓存的大小,本服务器有459108 KB≈448 MB左右,注意,这里的数值仅是采集初期的静态值,具体Buffer的变化还需要看Sheet MEM。
Cached:显示当前服务器Cache缓存的大小(从磁盘读取到内存的),本服务器有1032572 KB≈1008 MB左右。,这里的数值仅是采集初期的静态值,具体Buffer的变化还需要看Sheet MEM。
SwapCached:显示当前服务器Swap空间已缓存的大小,本服务器尚未使用到Swap空间。
SwapTotal:显示当前服务器Swap空间大小,本服务器有8385532 KB≈8189 MB左右。
SwapFree:显示当前服务器Swap空闲空间大小,本服务器Swap空间都空闲。

由于执行nmon时所属系统组权限不同,因此BBBP里磁盘的信息可能会缺失,如截图一是root权限执行nmon生成文件后显示的磁盘信息,可以看到每个磁盘的大小及磁盘下的分区用途。

  1. CPU_ALL 显示当前服务器所有CPU在采集时间段内的利用率,按时间及User%、System%、Wait%显示。

当前服务器共有4颗CPU(Core)8核心。
一般情况下CPU利用率里User%应占70%左右,Sys%应占30%左右,如果Sys%或Wait%占比等于或超过了User%则应该关注是什么引起了过多的系统消耗,可能是大量的Disk或Network I/O。
如下图,这个项目随着并发的增加,应用进程对CPU的消耗都增加在Wait%上,经排查是由于NFS读写遇到瓶颈导致:

  1.    CPU_SUMM

    显示当前服务器所有CPU的利用率,当前服务器共有4个CPU(Core),每个CPU负载有所不同。

  2.    DISK_SUMM

    按采集时间显示所有磁盘和分区的Read/Write的速率(KB/s)和所有磁盘和分区的I/O率。某一采集时间点的IO/sec等于Sheet DISKXFER中该时间点上所有磁盘和分区的IO/sec之和。因此,这一时间点上的I/O值是重复的!另外,本Sheet中的I/O不包括NFS里的I/O。

Paste_Image.png

如上图的WAvg按nmon Guide中的说法是为了去掉采集值中的零值以便贴近真实平均值,但WAvg的公式(对计算列中所有值取平方后加合,再除以列中所有值之和)却不是单纯的去掉零值,这里可以理解为WAvg比Avg更贴近资源消耗的均值,因此以后所有资源Sheet中都推荐关注WAvg。
IBM Redpaper《Linux Performance and Tuning Guidelines》中介绍Linux的I/O子系统架构如下:

nmon(包括iostat)对系统I/O的指标截取大部分来自/proc/diskstats,而这些值来自block layer层,LVM里的Logical Volume会“visible as a standard block device”,因此真实的磁盘,LVM的逻辑卷,分区等在这里都会显示,在nmon计算总值时会被重复统计。
Disk Read/Write KB是同一采集时间点下Sheet DISKREAD、DISKWRITE里该行(所有磁盘和分区)数值之和,必然包括了重复值,例如某一时刻sda磁盘共write 1000 KB,其中sda1分区write 700 KB,sda3分区write 300 KB,这一时刻Disk Write应是1000 KB,但这里却会重复统计分区数值,导致显示为Disk Write 2000 KB。Disk I/O也存在同样的问题!
还需注意一点,部分nmon生成文件里图中标题指标为kb(小写)/s,但实际统计的却是KB(大写)/s。

http://blog.csdn.net/he_jian1/article/details/41039709/