分析并优化一个高I/O等待的服务器

题目

分析并优化一个高I/O等待的服务器

信息

• 类型：问答
• 难度：⭐⭐

考点

性能监控工具使用,I/O性能分析,系统调优策略

快速回答

核心解决步骤：

1. 使用 top 或 vmstat 确认 %wa 过高
2. 通过 iostat -x 1 定位高负载磁盘
3. 用 pidstat -d 或 iotop 查找问题进程
4. 优化策略：
   • 调整 I/O 调度器（如 deadline）
   • 优化文件系统（日志模式/挂载选项）
   • 增加缓存或升级硬件
   • 优化应用 I/O 模式

问题诊断流程

1. 确认I/O瓶颈：

   $ vmstat 1
   procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
    r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
    1  4 287324 125248  98432 1024584    0    0  2154  1020  120  156 12  8 40 40  0
   # 关键指标：wa=40%（I/O等待）

2. 定位高负载磁盘：

   $ iostat -x 1
   Device: rrqm/s wrqm/s  r/s  w/s  rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
   vda      0.00   5.00 80.00 20.00 3200.00 400.00    72.00    15.00  150.00  120.00  240.00  6.00 100.00
   # 关键指标：%util=100%，await=150ms（延迟过高）

3. 追踪问题进程：

   $ pidstat -d 1
   03:15:42 PM   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s Command
   03:15:43 PM   998       123    1200.0     300.0      0.0  java

优化策略

echo deadline > /sys/block/vda/queue/scheduler

mount -o remount,noatime,barrier=0 /data

最佳实践

• 调度器选择：SSD用noop，HDD用deadline
• EXT4优化：

  tune2fs -o journal_data_writeback /dev/vda1

• 内存利用：调整vm.dirty_ratio（增加写缓存）

  sysctl -w vm.dirty_ratio=20

常见错误

• 盲目禁用所有barrier导致数据损坏风险
• 过度增加缓存（vm.dirty_ratio）引发电涌式I/O
• 忽略应用层设计问题（如N+1查询）

扩展知识

• cgroup I/O限制：

  echo "8:0 1048576" > /sys/fs/cgroup/io/testgroup/io.max

• BCC工具链：使用biosnoop追踪块I/O延迟
• eBPF深度分析：通过BCC工具观察I/O堆栈延迟分布