设计一个基于NIO的高并发文件日志系统

题目

设计一个基于NIO的高并发文件日志系统

信息

• 类型：问答
• 难度：⭐⭐⭐

考点

NIO并发写入,文件锁机制,内存映射文件,缓冲区管理,异常处理

快速回答

实现要点：

• 使用FileChannel和内存映射文件(MappedByteBuffer)提升I/O性能
• 通过ReentrantReadWriteLock实现线程安全写入
• 采用双缓冲区机制：一个写入缓冲区，一个刷新缓冲区
• 实现异常恢复机制和日志切割功能
• 使用ByteBuffer池管理内存资源

核心设计原理

在高并发场景下，传统IO的同步阻塞机制会成为性能瓶颈。NIO解决方案：

• 内存映射文件：通过FileChannel.map()将文件映射到内存，减少系统调用
• 非阻塞写入：线程将日志写入内存缓冲区，后台线程定期刷盘
• 并发控制：读写锁分离（读共享/写互斥），避免synchronized的粗粒度锁

代码实现示例

public class ConcurrentLogger {
    private FileChannel channel;
    private MappedByteBuffer mappedBuffer;
    private final ReentrantReadWriteLock rwLock = new ReentrantReadWriteLock();
    private ByteBuffer writeBuffer;

    // 初始化日志文件
    public void init(String filePath) throws IOException {
        channel = new RandomAccessFile(filePath, "rw").getChannel();
        mappedBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024 * 1024);
        writeBuffer = ByteBuffer.allocateDirect(8192);
    }

    // 多线程安全写入
    public void log(String message) {
        rwLock.writeLock().lock();
        try {
            byte[] data = message.getBytes(StandardCharsets.UTF_8);
            if (writeBuffer.remaining() < data.length) {
                flush();  // 缓冲区满时触发刷盘
            }
            writeBuffer.put(data);
        } finally {
            rwLock.writeLock().unlock();
        }
    }

    // 刷新缓冲区到磁盘
    private void flush() {
        writeBuffer.flip();
        try {
            mappedBuffer.put(writeBuffer);
            mappedBuffer.force();  // 强制刷盘
        } finally {
            writeBuffer.clear();
        }
    }

    // 日志文件切割（示例）
    public void rotateLog() throws IOException {
        rwLock.writeLock().lock();
        try {
            flush();
            // 创建新文件并重新初始化映射
        } finally {
            rwLock.writeLock().unlock();
        }
    }
}

最佳实践

• 缓冲区设计：使用直接缓冲区(ByteBuffer.allocateDirect)减少内存拷贝
• 刷盘策略：定时刷盘(如每100ms) + 缓冲区满双触发机制
• 资源管理：实现AutoCloseable接口确保通道关闭
• 异常处理：捕获IOException后尝试重建文件通道

常见错误

• 线程安全问题：未加锁导致日志内容错乱（如使用ArrayList等非线程安全集合）
• 内存泄漏：未正确释放MappedByteBuffer（需调用Cleaner）
• 数据丢失：进程崩溃时未刷盘的数据丢失（需配合WAL机制）
• 文件锁误用：错误使用FileLock导致性能下降（应避免长期持有）

扩展知识

• 零拷贝优化：Linux下使用sendfile系统调用传输日志
• 异步IO：Java 7+的AsynchronousFileChannel实现完全非阻塞
• 内存屏障：Unsafe类保证缓冲区可见性
• 性能监控：通过BufferPoolMXBean监控直接缓冲区使用