模型与多模态工具
complaint-triage-classifier：金融消费者投诉文本分类与低置信度人工复核路由
olarewajumary/complaint-triage-classifier · Consumer complaint classifier fine-tuned on DistilBERT, with a TF-IDF baseline comparison and confidence-gated human-review routing. 0.87 weighted F1 on held-out test data.
ELI5：它是什么，解决什么问题
该项目基于 CFPB 消费者金融投诉数据，对投诉文本进行 10 类产品类别划分。它使用微调后的 DistilBERT 输出类别与置信度，并将低于阈值的样本标记为 needs_human_review 转交人工，同时与 TF-IDF 加逻辑回归基线做对比。仓库报告在未见测试数据上的加权 F1 为 0.867，并说明了对小类别识别偏弱、长文本截断及不适用于真实合规决策等限制。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 对消费者金融投诉文本做 10 类产品类别分类并给出置信度；以置信度阈值将低置信样本标记为 needs_human_review 而非强行给出答案；对空输入、少于 5 词及非文本输入返回明确错误提示；提供与 TF-IDF 加逻辑回归基线的对比结果及每类 F1、混淆矩阵和阈值权衡分析。
- 适用场景
- 适合作为银行或金融机构投诉分派流程中的文本分类与人工复核路由原型；也可作为 NLP 文本分类、不平衡类别处理、阈值选择与人机协同流程的学习与研究参考；还可复现其数据处理、基线训练、模型微调与评估流程。
- 项目形态
- 研究实现
- 部署方式
- README 提供本地运行步骤：创建虚拟环境、安装 requirements.txt、用 Hugging Face CLI 下载模型到 models/final_model，再运行 src/predict.py；重建数据需准备 Kaggle 镜像 CSV 并运行多个源码脚本。
- 主要依赖
- 未说明具体硬件配置；README 提到微调在 Kaggle GPU 上完成，测试集与验证集推理各约 17 分钟，训练可在 Kaggle 免费 GPU 配额内完成。
- 使用限制
- 三个类别 F1 约 0.59；部分类别存在标签历史改名导致的重叠问题；模型未做类别加权，倾向大类；置信度不是保证；约 11.6% 样本超过 512 token 被截断；数据为 2015 至 2019 年且文本经过掩码；0.87 阈值针对 95% 准确率目标；明确不适用于真实合规决策。
- 许可证
- 未说明
- 最近推送
- 2026-11-05 01:07
资料检查：2026-11-05 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为文本分类项目的参考实现，程序员可复用其基于 DistilBERT 微调、TF-IDF 逻辑回归基线对比、置信度阈值扫描与低置信度人工复核路由的代码结构，用于构建带人工兜底的分类流水线。
查看内容依据
Sorts consumer financial complaints into 10 categories with a fine-tuned DistilBERT, and sends the ones it is unsure about to a human instead of guessing.
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
产品经理可参考该项目对置信度阈值与人工复核比例的权衡分析，用于设计分类或分诊类产品中自动化与人工介入的边界。
查看内容依据
The 95% target is a business choice: a team with fewer reviewers could pick a lower target, and the chart shows what that costs.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。