LLM-Sanitizer-Pro：面向 LLM 训练与微调的数据清洗与 PII 脱敏流水线

核心能力与快速开始

★ 1 · Python

能做什么

支持多格式流式输入输出（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体，文件或 stdin/stdout），可直接通过 hf:// 协议读取 Hugging Face Hub 数据集。提供正则与校验器驱动的高级 PII 脱敏（邮箱、URL、NANP 及国际电话、Luhn 校验的银行卡、mod-97 校验的 IBAN、有效性校验的 SSN、IPv4/IPv6），支持令牌替换、部分掩码与可导出映射的稳定假名化；可选 NER 后端（spaCy、transformers、GLiNER2-PII）识别姓名、地点、机构、地址、出生日期、证件号等。内置密钥检测与脱敏（AWS、Google、Stripe、Slack、GitHub、GitLab、Hugging Face、npm、PyPI、Azure、OpenAI、Anthropic、PEM/PGP 私钥、JWT、Bearer token、数据库连接串、熵检测的 api_key 赋值）。三档去重：SHA-256 精确去重（内存或 SQLite 磁盘后端）、基于 MinHash 词 3-shingle 的模糊近重复（rensa 或 datasketch 签名 + LSH 候选 + 签名验证，支持 SQLite 磁盘索引与断点续跑）、基于 model2vec 静态嵌入的语义近重复（usearch HNSW 或 LSH 回退）。质量评分提供 heuristic、fineweb-edu、dclm、自定义 fastText、perplexity 五种后端，可按绝对阈值过滤、保留前 P% 或仅标注。预训练规则过滤支持 Gopher、C4、FineWeb 文档启发式。支持 MMLU、MMLU-Pro、GPQA、GSM8K、GSM-Plus、MATH、MATH-500、AIME、IFEval、BBH、MuSR、HLE、SimpleQA、HumanEval(+)、MBPP(+)、ARC、HellaSwag、TruthfulQA、WinoGrande 等基准去污染（词 8-gram 重叠匹配，支持自定义参考文件）。输出 ChatML 与 Alpaca/Instruct 格式，支持 ShareGPT conversations 到 OpenAI messages 的转换。对话校验覆盖角色交替、空轮次、缺失助手回复、system 消息位置、未知角色、按 token 预算（可结合 tokenizer 与聊天模板），并能识别 OpenAI 工具调用与多模态内容块。支持数据集切分与分片（哈希决定，跨运行一致）、可恢复断点续跑（checkpoint + SQLite 去重状态）、多进程并行（--jobs）以及自包含 HTML 审计报告。

适用场景

适用于在 LLM 预训练、SFT 微调与 RAG 数据准备阶段，对本地或 Hugging Face Hub 数据集进行 PII 与密钥脱敏、精确或近重复去重、质量评分与过滤、语言过滤、预训练规则过滤、基准测试去污染、对话数据校验与格式转换，以及生成包含移除漏斗和前后样本的合规审计报告。也适用于需要在长时大批量任务中保持可恢复性、断点续跑与并行加速的数据清洗流程。

项目形态

可直接使用的工具

部署方式

以 Python 包形式通过 pip 安装（llm-sanitizer-pro 核心或 [all] 等 extras），主要通过命令行工具 sanitize 使用，也提供 Python API（如 s.write_report(path)）。未说明容器化或托管部署方式。

主要依赖

Python 环境；核心依赖为标准库与 tqdm。可选能力需额外安装：格式与功能 extras（[all]）、Gliner 后端（[gliner]）、模糊去重（[fuzzy]，rensa 或 datasketch）、语义去重（[semantic]，model2vec、usearch）、语言过滤（[lang]，GlotLID v3 模型约 1.7 GB）、质量评分（[quality]）、NER（[ner]，含 spaCy 模型）、并发等。私有或 gated Hugging Face 数据集需要 HF_TOKEN。词表与模型下载、内存占用等具体运行成本未说明。

使用限制

GLiNER2-PII 与模糊去重的准确率数字是在项目自己生成的合成集上测得的分布内指标，README 明确建议在自有数据上重新评估。预训练规则过滤器针对英文调优，需在语言过滤之后使用。语言过滤使用 GlotLID 时每个 worker 约需 1.7 GB RAM。GPQA 与 HLE 为 gated 基准，需在 Hub 接受条款并设置 HF_TOKEN。语义去重在无 usearch 时回退 LSH，在大输入上会变慢。使用仓库未说明模型许可、API 成本与商用限制。

许可证

MIT

最近推送

2026-10-07 22:21

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 LLM 训练与微调的数据准备工作中，使用该流水线对数据集进行 PII 脱敏、密钥检测与脱敏、去重、质量评分与内容过滤、语言过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片，并生成 HTML 审计报告。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证