题目
构建一个文本情感分类器并评估性能
信息
- 类型：问答
- 难度：⭐⭐
考点
文本预处理,特征工程,模型选择与评估,Scikit-learn应用
快速回答
构建文本情感分类器的关键步骤：
- 使用
CountVectorizer/TfidfVectorizer进行文本特征提取 - 应用
train_test_split划分数据集 - 选择
LogisticRegression或Naive Bayes作为分类器 - 使用
classification_report和混淆矩阵评估性能 - 通过停用词和N-gram优化特征工程
问题场景
构建一个能区分电影评论情感倾向（正面/负面）的分类器，使用IMDB数据集（或类似数据）。要求候选人对整个机器学习流程有系统理解。
解决方案
1. 核心代码实现
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
# 加载数据集（示例）
# 假设X是文本列表，y是标签（0=负面，1=正面）
X, y = load_movie_reviews()
# 文本向量化
tfidf = TfidfVectorizer(stop_words='english', ngram_range=(1,2))
X_tfidf = tfidf.fit_transform(X)
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X_tfidf, y, test_size=0.2)
# 训练模型
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)
# 评估
preds = model.predict(X_test)
print(classification_report(y_test, preds))2. 关键原理说明
- TF-IDF向量化：将文本转换为数值特征，同时考虑词频(TF)和逆文档频率(IDF)
- 逻辑回归优势：适合高维稀疏文本数据，可提供特征重要性解释
- N-gram处理：
ngram_range=(1,2)捕获单词组合的语义（如"not good"）
3. 最佳实践
- 数据预处理：清洗HTML标签、统一大小写、处理特殊字符
- 特征优化：使用停用词（
stop_words='english'）移除无意义词汇 - 类别平衡：检查
y.value_counts()确保正负样本均衡 - 超参数调优：用
GridSearchCV调整C（正则化强度）和max_features
4. 常见错误
- 数据泄露：在向量化前划分数据，避免测试集信息污染
- 忽略停用词：导致特征空间膨胀且降低模型效率
- 未处理样本失衡：使用
class_weight='balanced'解决 - 迭代不足：逻辑回归需设置
max_iter=1000+避免收敛警告
5. 扩展知识
- 替代方案：尝试
NaiveBayes（更快）或SVM（小数据集更准） - 高级技术：使用词嵌入（Word2Vec）或BERT获取语义信息
- 部署考量：用
pickle保存向量器和模型，确保线上/离线一致性 - 评估指标：关注
f1-score而非准确率（尤其样本不均衡时）
6. 优化方向
- 添加文本长度作为新特征
- 使用
Pipeline封装流程简化部署 - 集成学习：
VotingClassifier结合多个模型
