题目
训练集、验证集和测试集的作用与划分
信息
- 类型：问答
- 难度：⭐
考点
数据划分,过拟合预防,模型评估
快速回答
在机器学习中，数据集通常划分为三个独立部分：
- 训练集：用于训练模型参数（占60-80%）
- 验证集：用于调优超参数和防止过拟合（占10-20%）
- 测试集：用于最终评估模型泛化能力（占10-20%）
划分时需随机打乱数据，确保分布一致，避免数据泄露。
解析
原理说明
数据划分的核心目标是评估模型在未知数据上的真实表现：
- 训练集：模型通过此数据学习特征与标签的映射关系，更新权重参数
- 验证集：在训练过程中监控模型表现，用于选择超参数（如学习率、网络层数）和早停（Early Stopping），防止过拟合训练数据
- 测试集：模拟真实场景，提供无偏的性能评估，在整个训练过程中只能使用一次
代码示例（Python）
from sklearn.model_selection import train_test_split
# 加载数据集（示例）
X, y = load_data()
# 第一步：划分训练集和临时测试集（80%训练，20%临时测试）
X_train, X_temp, y_train, y_temp = train_test_split(
X, y, test_size=0.2, random_state=42
)
# 第二步：划分验证集和测试集（各占临时测试集的50%）
X_val, X_test, y_val, y_test = train_test_split(
X_temp, y_temp, test_size=0.5, random_state=42
)
print(f"训练集: {len(X_train)}样本, 验证集: {len(X_val)}样本, 测试集: {len(X_test)}样本")最佳实践
- 比例选择：大数据集（>100万样本）可用98/1/1；小数据集（<1万）推荐70/15/15
- 随机打乱：划分前务必打乱数据顺序，避免隐含偏差
- 分层抽样：分类问题中使用
stratify=y保持类别分布一致 - 时间序列处理：按时间顺序划分（如用前80%时间点训练，后20%测试）
常见错误
- 测试集污染：使用测试集调整模型（如根据测试结果修改超参数）
- 数据泄露：预处理（如归一化）时使用全数据集统计量，应仅用训练集统计量处理验证/测试集
- 分布不一致：未检查各集合的特征/标签分布是否相似
- 忽略验证集：仅用训练/测试集，导致无法进行超参数调优
扩展知识
- 交叉验证：小数据集可用k-fold（如5折）替代单次验证集
- 领域适配：当训练/测试数据分布不同时（如医疗影像设备差异），需特殊划分策略
- 主动学习：迭代式增加训练集样本，优先选择模型不确定的数据
