图像分类任务中如何处理类别不平衡问题

题目

图像分类任务中如何处理类别不平衡问题

信息

• 类型：问答
• 难度：⭐⭐

考点

数据预处理,损失函数设计,模型评估

快速回答

处理图像分类中的类别不平衡问题需要综合应用以下方法：

• 数据层面：过采样少数类（如SMOTE）或欠采样多数类
• 损失函数：使用加权交叉熵或Focal Loss
• 评估指标：采用F1-score、AUC-ROC代替准确率
• 模型层面：集成学习或迁移学习

问题背景

在医疗影像诊断、工业缺陷检测等场景中，常出现某些类别样本极少（如癌症病例）而其他类别样本极多的情况。直接训练会导致模型偏向多数类。

核心解决方案

1. 数据预处理

• 过采样：

  from imblearn.over_sampling import SMOTE
  sm = SMOTE(random_state=42)
  X_res, y_res = sm.fit_resample(X_train, y_train)

  通过生成合成样本扩充少数类（注意：可能引入噪声）
• 欠采样：随机删除多数类样本（可能丢失信息）
• 数据增强：对少数类使用旋转/翻转等变换

  from tensorflow.keras.preprocessing.image import ImageDataGenerator
  datagen = ImageDataGenerator(rotation_range=30, horizontal_flip=True)

2. 损失函数改进

• 加权交叉熵：

  class_weights = {0: 1.0, 1: 5.0}  # 少数类权重提高
  model.compile(loss='binary_crossentropy', 
                optimizer='adam', 
                weighted_metrics=['accuracy'])

  权重计算：w_i = total_samples / (num_classes * count(class_i))
• Focal Loss：降低易分类样本的权重

  def focal_loss(gamma=2.0, alpha=0.25):
      def fl(y_true, y_pred):
          pt = tf.where(tf.equal(y_true, 1), y_pred, 1 - y_pred)
          return -alpha * tf.pow(1.0 - pt, gamma) * tf.math.log(pt)
      return fl

3. 模型与评估优化

• 评估指标：
  • 使用混淆矩阵和F1-score：F1 = 2*(precision*recall)/(precision+recall)
  • AUC-ROC曲线：关注TPR与FPR的权衡
• 集成方法：Bagging或Boosting（如XGBoost的scale_pos_weight参数）
• 迁移学习：使用预训练模型（如ResNet）的特征提取能力

最佳实践

1. 优先尝试数据增强和Focal Loss的组合
2. 在验证集上使用分层抽样（StratifiedKFold）
3. 监控每个类别的precision/recall而非整体准确率
4. 阈值调整：通过ROC曲线找到最佳分类阈值

常见错误

• 仅依赖准确率评估模型（当少数类占比1%时，99%准确率可能无意义）
• 过采样导致严重过拟合（需配合正则化）
• 忽略业务需求：医疗场景需高recall，安防场景需高precision

扩展知识

• 高级采样：ADASYN（自适应合成采样）
• 代价敏感学习：为不同误分类设置不同惩罚
• 异常检测思路：将少数类视为异常检测问题（如One-Class SVM）