题目
识别过拟合并提出正则化优化方案
信息
- 类型：问答
- 难度：⭐⭐
考点
过拟合诊断,正则化技术,超参数调优
快速回答
当发现模型在训练集表现优异但测试集表现显著下降时，应：
- 诊断过拟合：检查训练/验证损失曲线是否出现明显分离
- 应用正则化：引入L2正则化或Dropout层
- 调优超参数：通过交叉验证调整正则化强度
- 监控指标：持续跟踪验证集准确率和损失变化
问题场景描述
假设你训练了一个CNN图像分类模型，训练准确率达98%，但测试准确率只有82%。训练/验证损失曲线显示：训练损失持续下降而验证损失在10个epoch后开始上升。
原理说明
过拟合本质：模型过度记忆训练数据噪声，导致泛化能力下降。正则化通过添加约束降低模型复杂度：
L2正则化：向损失函数添加权重平方和项：$J_{new} = J + \lambda \sum ||w||^2$
Dropout：训练时随机丢弃神经元（通常比例0.2-0.5），强制网络学习冗余特征
代码示例（PyTorch）
# 原始模型（无正则化）
model = nn.Sequential(
nn.Linear(784, 256),
nn.ReLU(),
nn.Linear(256, 10)
)
# 优化方案1：添加L2正则化
optimizer = torch.optim.Adam(model.parameters(),
lr=0.001,
weight_decay=0.01) # L2系数
# 优化方案2：添加Dropout层
model = nn.Sequential(
nn.Linear(784, 256),
nn.ReLU(),
nn.Dropout(0.3), # 丢弃30%神经元
nn.Linear(256, 10)
)最佳实践
- 渐进式调参：从较小正则化强度开始（如weight_decay=0.001）
- 监控工具：使用TensorBoard跟踪每个epoch的train/val准确率
- 组合策略：L2+Dropout通常优于单一方法
- 早停机制：当验证损失连续3个epoch不改善时停止训练
常见错误
- ❌ 在验证集上调整正则化参数（应使用独立测试集）
- ❌ Dropout未在推理时禁用（需调用model.eval()）
- ❌ L2系数过大导致欠拟合（如>0.1）
- ❌ 忽略数据增强等替代方案
扩展知识
- 其他正则化技术：数据增强、早停(Early Stopping)、标签平滑
- 贝叶斯解释：L2正则等价于高斯先验，L1等价于拉普拉斯先验
- 模型结构优化：当正则化无效时，可能需要简化网络结构
- 归一化层：BatchNorm/LayerNorm本身具有轻微正则化效果
