数据处理01
tjromack/open311-pipeline · Streaming civic-data pipeline: Chicago 311 → Kafka → Claude urgency classification (Langfuse-traced) → DuckDB or Snowflake via idempotent MERGE → dbt SLA marts. Runs with no accounts: make demo-local.
该项目是一个可复用的「流 → 分类 → 数据仓库 → 建模」市民数据流水线模板：轮询 Open311（芝加哥 311）请求，写入按 service_request_id 分键的 Kafka，用 Claude Haiku 4.5 对请求做结构化输出的紧迫度分级（每次调用在 Langfuse 中留有 trace），失败进入死信队列，再通过幂等 MERGE 写入 DuckDB（默认）或 Snowflake，最后由 dbt 构建部门 SLA 合规度数据模型。项目提供无需账号、无需 API key 的本地演示（make demo-local / make demo-local-nokafka），演示回放 300 条真实芝加哥 311 请求及其由 Claude Haiku 4.5 标注的标签；另有一条路径可从城市数据门户加载整个财年（约 212 万行）并测量整体队列的 SLA 合规度。仓库含 61 个 pytest 测试与 45 个 dbt 数据测试，覆盖 schema 漂移、DLQ、MERGE 幂等性等失效模式。README 明确指出其 SLA 阈值为项目自设而非芝加哥官方标准。
数据处理02
Yog-Sotho/LLM-Sanitizer-Pro · Production-grade, modular dataset sanitization, PII redaction, and curation pipeline for LLM training and fine-tuning.
LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。
数据处理03
ho72/pet-i-explanation-data · 진단명·증상과 검색 근거로 설명형 SFT 데이터를 만드는 Python 파이프라인 | dry-run · 오류 분리 · 테스트/CI
该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。项目本身不分析图像或判断疾病，image_path 仅用于生成输入标识。
评测与安全04
withmartian/code-review-benchmark
该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。
数据处理05
XaviCode1000/webfang · Modular web scraper with Clean Architecture — wreq TLS fingerprinting, RAG export, MCP server, TUI, AI semantic cleaning. 1,337 tests, Miri verified.
webfang 是一个用 Rust 编写的高性能模块化网页爬虫，采用 Clean Architecture 组织为 webfang_core、webfang_ai、webfang_mcp、webfang_cli 四个 crate。它提供基于 Readability 的内容提取、ONNX 语义清洗、多格式导出（Markdown/JSON/JSONL/向量）、Obsidian 保存、站点地图发现、资源下载、WAF 检测、限速与断点续爬等能力，并内置供 AI Agent 集成的 MCP 服务端。