诊断并优化高负载下 Linux 系统的 CPU 软中断(softirq)性能瓶颈

题目

诊断并优化高负载下 Linux 系统的 CPU 软中断(softirq)性能瓶颈

信息

• 类型：问答
• 难度：⭐⭐⭐

考点

中断处理机制,性能监控工具链,内核参数调优,系统级性能分析

快速回答

核心诊断步骤：

1. 使用 top 观察 %si（软中断CPU占比）异常升高
2. 通过 watch -n1 'cat /proc/softirqs' 定位具体软中断类型
3. 用 perf 采样分析热点函数：perf record -a -g -e irq:softirq_entry sleep 10
4. 网络场景检查 ethtool -S ethX 的 rx_dropped 和 rx_over_errors

优化方案：

• 调整网卡多队列：ethtool -L ethX combined 8
• 开启RPS：echo fff > /sys/class/net/ethX/queues/rx-0/rps_cpus
• 调优 net.core.netdev_budget 和 net.core.netdev_budget_usecs

问题背景与原理

在高网络负载场景（如10Gbps+）下，Linux 系统的软中断处理可能成为性能瓶颈，导致 %si 占用过高。软中断(softirq)是内核延迟处理机制，用于网络收包、定时器等任务。当硬件中断频率超过单核处理能力时，会出现：

• 网络吞吐量骤降
• CPU 使用率显示高 %si
• 应用延迟增加

诊断工具链实战

1. 初步定位工具

# 观察整体CPU使用（注意%si列）
top -1
PID USER  PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
  2 root  20 0   0   0   0  S 0.0  0.0  0:00.02 kthreadd
  3 root  20 0   0   0   0  R 78.3 0.0  5:32.17 ksoftirqd/0  # 软中断进程高占用

# 查看软中断类型分布
watch -n1 'cat /proc/softirqs'
                    CPU0   CPU1
      HI:          0      0
   TIMER:   2895613 274321
  NET_TX:    10234  9382
  NET_RX:  12873592 21093  # 网络接收中断异常

2. 深度性能分析

# 使用perf进行函数级热点分析
perf record -a -g -e irq:softirq_entry sleep 10
perf report --stdio
# 输出示例
--- 49.23% net_rx_action
    |- napi_gro_receive
    |- igb_clean_rx_irq
    |-- __netif_receive_skb_core  # 网络栈处理瓶颈点

3. 网络层检查

ethtool -S eth0 | grep -e dropped -e error
     rx_dropped: 392184  # 存在丢包
     rx_over_errors: 128

优化策略与参数调优

1. 启用网卡多队列

# 查看可用队列数
ethtool -l eth0
# 设置多队列（需网卡支持）
ethtool -L eth0 combined 8
# 绑定中断到不同CPU
echo 2 > /proc/irq/123/smp_affinity

2. 配置RPS（软件多队列）

# 启用8核处理接收队列
echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus

3. 内核参数调优

# 增加单次软中断处理包数
echo 600 > /proc/sys/net/core/netdev_budget
# 调整处理时间上限（微秒）
echo 8000 > /proc/sys/net/core/netdev_budget_usecs
# 增大socket缓冲区
echo 'net.core.rmem_max=12582912' >> /etc/sysctl.conf

常见错误与验证

• 错误1：盲目增加 netdev_budget 导致进程饥饿
• 错误2：未检查NUMA架构导致跨节点访问
• 验证方法：
  • 压测工具：iperf3 -c server -t 30
  • 监控：sar -n DEV 1 观察丢包率
  • 时延检测：ping -f target

扩展知识

• XDP技术：在驱动层处理包过滤，绕过内核协议栈
• eBPF优化：使用 BPF_PROG_TYPE_SOCKET_FILTER 减少数据拷贝
• 硬件卸载：启用TSO/GRO（ethtool -K eth0 tso on gro on）
• 监控体系：Prometheus+Node_export 采集 node_softirqs_total 指标