背景-線上告警
線上一臺(tái)服務(wù)器告警，磁盤利用率 disk.util > 90，并持續(xù)告警。
登錄該服務(wù)器后通過 iostat -x 1 10 查看了相關(guān)磁盤使用信息。相關(guān)截圖如下：
1 # 如果沒有 iostat 命令，那么使用 yum install sysstat 進(jìn)行安裝
2 # iostat -x 1 10由上圖可知，vdb磁盤的 %util【IO】幾乎都在100%，原因是頻繁的讀取數(shù)據(jù)造成的。
其他字段說明
Device：設(shè)備名稱tps：每秒的IO讀、寫請(qǐng)求數(shù)量，多個(gè)邏輯請(qǐng)求可以組合成對(duì)設(shè)備的單個(gè)I/O請(qǐng)求。Blk_read/s (kB_read/s, MB_read/s)：從設(shè)備讀取的數(shù)據(jù)量，以每秒若干塊(千字節(jié)、兆字節(jié))表示。塊相當(dāng)于扇區(qū)，因此塊大小為512字節(jié)。Blk_wrtn/s (kB_wrtn/s, MB_wrtn/s)：寫入設(shè)備的數(shù)據(jù)量，以每秒若干塊(千字節(jié)、兆字節(jié))表示。塊相當(dāng)于扇區(qū)，因此塊大小為512字節(jié)。Blk_read (kB_read, MB_read)：讀取塊的總數(shù)(千字節(jié)、兆字節(jié))。Blk_wrtn (kB_wrtn, MB_wrtn)：寫入塊的總數(shù)(千字節(jié)，兆字節(jié))。
rrqm/s：每秒合并到設(shè)備的讀請(qǐng)求數(shù)。即delta(rmerge)/s wrqm/s：每秒合并到設(shè)備的寫入請(qǐng)求數(shù)。即delta(wmerge)/s r/s：每秒完成的讀I/O設(shè)備次數(shù)。即delta(rio)/s w/s：每秒完成的寫I/0設(shè)備次數(shù)。即delta(wio)/s rsec/s (rkB/s, rMB/s)：每秒讀取設(shè)備的扇區(qū)數(shù)(千字節(jié)、兆字節(jié))。每扇區(qū)大小為512字節(jié)wsec/s (wkB/s, wMB/s)：每秒寫入設(shè)備的扇區(qū)數(shù)(千字節(jié)、兆字節(jié))。每扇區(qū)大小為512字節(jié)
avgrq-sz：平均每次設(shè)備I/O操作的數(shù)據(jù)量(扇區(qū)為單位)。即delta(rsec+wsec)/delta(rio+wio) avgqu-sz：平均每次發(fā)送給設(shè)備的I/O隊(duì)列長度。await：平均每次IO請(qǐng)求等待時(shí)間。(包括等待隊(duì)列時(shí)間和處理時(shí)間，毫秒為單位)r_await：平均每次IO讀請(qǐng)求等待時(shí)間。(包括等待隊(duì)列時(shí)間和處理時(shí)間，毫秒為單位)w_await：平均每次IO寫請(qǐng)求等待時(shí)間。(包括等待隊(duì)列時(shí)間和處理時(shí)間，毫秒為單位)svctm：平均每次設(shè)備I/O操作的處理時(shí)間(毫秒)。警告！不要再相信這個(gè)字段值，這個(gè)字段將在將來的sysstat版本中刪除。 %util：一秒中有百分之多少的時(shí)間用于I/O操作，或者說一秒中有多少時(shí)間I/O隊(duì)列是非空的。當(dāng)該值接近100%時(shí)，設(shè)備飽和發(fā)生。
找到 IO 占用高的進(jìn)程通過 iotop 命令
如果沒有該命令，請(qǐng)通過 yum install iotop 進(jìn)行安裝。
# iotop -oP通過這個(gè)命令可以看見比較詳細(xì)信息，如：進(jìn)程號(hào)，磁盤讀取量，磁盤寫入量，IO百分比，涉及到的命令是什么「兩個(gè)都是 grep 命令造成的IO讀取量大」。
通過 pidstat 命令
1 # 命令的含義：展示I/O統(tǒng)計(jì)，每秒更新一次
2 # pidstat -d 1可見其中 grep 命令占用了大量的讀IO，之后可根據(jù) PID 查看相關(guān)進(jìn)程信息。
說明：本圖與上圖的PID不同，原因是上圖涉及的進(jìn)程執(zhí)行完了，本圖是之后執(zhí)行產(chǎn)生的進(jìn)程【都執(zhí)行的同一個(gè)腳本】。
