设计一个多进程日志收集系统

题目

设计一个多进程日志收集系统

信息

• 类型：问答
• 难度：⭐⭐

考点

共享内存,信号量,进程同步,生产者-消费者模型

快速回答

使用共享内存和信号量实现多进程日志收集系统的核心步骤：

• 创建固定大小的环形缓冲区作为共享内存区
• 使用两个信号量：empty（初始为缓冲区大小）控制空槽位，full（初始为0）控制已填充槽位
• 生产者进程（日志生成器）在写入前执行sem_wait(empty)，写入后执行sem_post(full)
• 消费者进程（日志处理器）在读取前执行sem_wait(full)，读取后执行sem_post(empty)
• 通过互斥信号量或原子操作保证缓冲区指针更新的线程安全

问题场景

在分布式系统中，多个工作进程需要将日志写入中央存储，设计一个基于共享内存的IPC方案解决：1）避免日志丢失 2）防止缓冲区溢出 3）确保多进程并发安全。

核心原理

采用生产者-消费者模型：

• 生产者：工作进程生成日志条目
• 共享缓冲区：固定大小的环形队列（避免动态分配开销）
• 消费者：专用进程将日志写入磁盘/网络
• 信号量同步：
  • sem_empty：剩余空槽位（初始=N）
  • sem_full：已填充槽位（初始=0）
  • sem_mutex：缓冲区互斥锁（初始=1）

代码示例（C语言）

#include <sys/shm.h>
#include <sys/sem.h>
#include <unistd.h>

// 共享内存结构体
typedef struct {
    char logs[10][256];  // 10条日志的环形缓冲区
    int head;           // 消费者读取位置
    int tail;           // 生产者写入位置
} LogBuffer;

// 生产者进程
void producer(LogBuffer *buf, sem_t *empty, sem_t *full, sem_t *mutex) {
    char log[256];
    while (1) {
        // 生成日志...

        sem_wait(empty);  // 等待空槽位
        sem_wait(mutex);  // 进入临界区

        // 写入共享内存
        strncpy(buf->logs[buf->tail], log, 256);
        buf->tail = (buf->tail + 1) % 10;

        sem_post(mutex);  // 离开临界区
        sem_post(full);   // 增加已填充计数
    }
}

// 消费者进程
void consumer(LogBuffer *buf, sem_t *empty, sem_t *full, sem_t *mutex) {
    while (1) {
        sem_wait(full);   // 等待数据
        sem_wait(mutex);  // 进入临界区

        // 处理日志
        process_log(buf->logs[buf->head]);
        buf->head = (buf->head + 1) % 10;

        sem_post(mutex);  // 离开临界区
        sem_post(empty);  // 增加空槽位
    }
}

最佳实践

• 缓冲区设计：使用环形队列避免内存拷贝，大小根据业务负载调整
• 错误处理：检查sem_wait返回值，处理EINTR信号中断
• 性能优化：批量处理日志（如一次处理多条）减少上下文切换
• 资源清理：进程退出时detach共享内存，最后一个进程销毁资源

常见错误

• 死锁：信号量操作顺序错误（如先锁mutex再等empty）
• 数据竞争：未对head/tail指针同步导致覆盖读取
• 优先级反转：高优先级进程阻塞在低优先级进程持有的信号量上
• 资源泄漏：忘记销毁信号量或共享内存

扩展知识

• 替代方案：管道（容量有限）、消息队列（内核开销）、内存映射文件
• 信号量类型：命名信号量（跨无关进程）vs 匿名信号量（共享内存中）
• 现代扩展：Linux eventfd 用于通知机制，RDMA实现零拷贝
• 容错设计：消费者崩溃时通过持久化指针恢复读取位置