设计支持百万并发连接的高性能网络服务器I/O模型 -

题目

设计支持百万并发连接的高性能网络服务器I/O模型

信息

类型：问答
难度：⭐⭐⭐

考点

I/O多路复用,非阻塞I/O,边缘触发与水平触发,性能优化

快速回答

实现百万并发连接的核心要点：

使用epoll边缘触发(ET)模式减少系统调用次数
采用非阻塞I/O配合循环读写处理
设计多线程Reactor模型：主线程accept+工作线程处理I/O
优化连接管理：使用红黑树/哈希表存储连接状态
避免惊群效应：SO_REUSEPORT+多监听socket

## 解析

核心原理

百万并发连接需要解决C10M问题（单机千万连接），传统select/poll受限于：

O(n)时间复杂度遍历fd集合
fd_set大小限制（通常1024）
内核-用户空间数据拷贝开销

epoll/kqueue通过以下机制突破瓶颈：

红黑树存储fd：O(log n)操作复杂度
事件驱动：仅返回就绪事件，无需遍历
mmap共享内存：避免用户-内核数据拷贝

关键实现代码示例

// epoll ET模式设置
struct epoll_event ev;
ev.events = EPOLLIN | EPOLLET;  // 边缘触发模式
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);

// 非阻塞I/O处理
void handle_io(int fd) {
    while (true) {
        ssize_t count = read(fd, buf, BUF_SIZE);
        if (count == -1) {
            if (errno == EAGAIN) break; // 数据读完
            else handle_error();
        } else if (count == 0) {
            close_connection(fd);
            break;
        }
        // 处理数据...
    }
}

// Reactor线程模型伪代码
void worker_thread() {
    while (true) {
        int n = epoll_wait(epfd, events, MAX_EVENTS, -1);
        for (int i = 0; i < n; i++) {
            if (events[i].events & EPOLLIN) {
                if (events[i].data.fd == listen_fd)
                    accept_connection(); // 主线程处理
                else
                    handle_io(events[i].data.fd); // 工作线程处理
            }
        }
    }
}

最佳实践

连接管理优化：
- 使用红黑树存储连接（O(log n)查找）
- 每个连接预分配内存池，避免动态分配
线程模型：
- 1个主线程 + CPU核数-1个工作线程
- 绑定CPU核心减少上下文切换
零拷贝技术：
- sendfile传输文件
- splice管道传输

常见错误

ET模式未完全读取数据：未循环读取导致后续事件丢失
线程竞争：多个线程同时操作同一连接状态
缓冲区设计缺陷：
- 未考虑TCP粘包/拆包
- 动态内存分配导致内存碎片
未处理EAGAIN：非阻塞I/O未正确处理临时错误

扩展知识

io_uring：Linux 5.1+ 的异步I/O新机制，进一步减少系统调用
- 双环形队列实现零拷贝提交/完成
- 支持buffer注册减少数据拷贝
多队列网卡(RSS)：硬件级流量分发到不同CPU核心
协议栈优化：
- TCP_FASTOPEN减少握手延迟
- SO_ZEROCOPY大文件传输
监控指标：
- epoll_wait延迟分布
- 每个连接的RTT方差
- 内存分配失败率