题目
模型训练中的学习率调整策略
信息
- 类型：问答
- 难度：⭐⭐
考点
学习率调整策略, 超参数优化, 模型收敛性
快速回答
在模型训练中，合理的学习率调整策略能显著提升收敛速度和模型性能。核心要点：
- 常用策略：StepLR, ExponentialLR, ReduceLROnPlateau
- 选择依据：数据集规模、模型复杂度、训练阶段
- 关键参数：衰减因子(gamma)、耐心值(patience)、最小学习率(min_lr)
- 最佳实践：初始学习率通过LR Finder确定，配合早停机制
1. 原理说明
学习率控制参数更新步长：
• 初期：较大学习率加速收敛
• 后期：减小学习率精细调参避免震荡
• 自适应策略：根据验证指标动态调整（如ReduceLROnPlateau）
2. 代码示例（PyTorch）
import torch.optim as optim
from torch.optim.lr_scheduler import ReduceLROnPlateau
# 初始化优化器
optimizer = optim.Adam(model.parameters(), lr=0.01)
# 配置学习率调度器
scheduler = ReduceLROnPlateau(
optimizer,
mode='min', # 监控验证损失
factor=0.5, # 学习率衰减因子
patience=5, # 连续5个epoch无改善触发
min_lr=1e-6 # 最小学习率
)
# 训练循环中调用
for epoch in range(epochs):
train()
val_loss = validate()
scheduler.step(val_loss) # 根据验证损失调整学习率3. 最佳实践
- 初始学习率选择：使用LR Range Test（如PyTorch Lightning的LRFinder）
- 策略组合：前期用StepLR，后期切到ReduceLROnPlateau
- 监控指标：验证集损失比训练损失更可靠
- 配合早停：当学习率降至min_lr仍无改善时停止训练
4. 常见错误
- 衰减过快：gamma过大导致欠拟合（如gamma=0.1时每10epoch衰减90%）
- 耐心值不足：patience太小导致过早衰减（建议5-10个epoch）
- 忽略min_lr：学习率归零导致训练停滞
- 策略冲突：同时使用多个scheduler造成逻辑错误
5. 扩展知识
- Cyclical LR：在合理范围内周期性变化学习率（Smith 2015）
- Cosine退火：模拟余弦函数平滑下降（SGDR论文）
- 自适应优化器：AdamW等自带学习率调整，但仍需基础调度
- 实验记录：用TensorBoard/W&B记录学习率变化曲线
