PET-I Explanation Data：用诊断名与症状生成带检索依据的宠物犬眼病说明文与 SFT 训练数据

ho72/pet-i-explanation-data · 진단명·증상과 검색 근거로 설명형 SFT 데이터를 만드는 Python 파이프라인 | dry-run · 오류 분리 · 테스트/CI

GitHub原文发布未知首次收录 2026-10-08上架 2026-10-08 07:01

ELI5：它是什么，解决什么问题

该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。项目本身不分析图像或判断疾病，image_path 仅用于生成输入标识。

# LLM # RAG # synthetic-data # data-pipeline # sft

核心能力与快速开始

★ 0 · Python

能做什么: 输入标准化：将 CSV 中的 image_path、diagnosis、symptoms 或 JSON 输入转换为统一结构。证据收集：读取按疾病分类的本地语料库，并可选择性收集 DuckDuckGo 检索摘要与英文 Wikipedia 正文。上下文构建：基于文档长度、来源偏好、URL/标题去重等规则筛选并编号（[编号]）。说明生成：请求教师 LLM（GPT-4o）生成疾病说明、诊断依据、主要病因、管理方法四个部分。数据保存：成功时保存 service 与 sft，失败时保存 error，预览时保存 preview。dry-run 模式：在不调用外部检索与 LLM 的情况下确认上下文与提示词。错误分离与测试：来自自动化测试 31 项与静态检查的回归确认，无外部 API 调用。
适用场景: 用于构建宠物犬眼病说明文服务输出的训练数据。用于生成检索与浏览对话格式的 SFT 学习记录。用于在无外部 API 调用情况下用 dry-run 预览输入→上下文→提示词流程。用于用 CSV/JSON 输入批量生成 JSONL 形式的服务说明文与训练记录。
项目形态: 开发框架
部署方式: 本地 Python 环境运行。提供了 Python 3.12 虚拟环境与 pip install -r requirements.txt 的执行说明。实际 LLM 生成需设置环境变量 OPENAI_API_KEY，可用 --model / OPENAI_MODEL 指定模型。更多安装、运行与故障排除见 docs/SETUP.md。
主要依赖: Python 3.12。需安装 requirements.txt 中的依赖。真实生成时需 OPENAI_API_KEY。已知依赖锁定约束与开发用依赖见 requirements.txt、requirements-dev.txt。API 使用量对应费用由使用者承担。
使用限制: 仓库不包含原始图像、标签及与原始数据逐行对应的映射资料，也不包含完整训练数据与执行日志。meta.quality 仅存储简单的状态信息，不验证引用准确性或兽医合理性，也不自动排除不适当数据。sft 的 search/fetch 对话是由代码基于收集文档构建的学习记录，并非教师 LLM 实际调用工具的执行日志。文档未记录每份文档的原始出处与撰写历史。生成示例是模型输出记录，不能用作经兽医验证的诊断或治疗指导。
许可证: 未说明
最近推送: 2026-10-07 08:59

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为 Python 数据生成流水线，可用于构建带检索依据的 LLM 训练数据：读取 CSV/JSON 中的诊断名与症状，收集本地文档及可选的 DuckDuckGo、Wikipedia 检索结果，调用教师 LLM（GPT-4o）生成说明文本并输出 JSONL 格式的 service 说明文与 sft 对话记录。

查看内容依据

该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Zero to AI：涵盖 Python、深度学习、LLM、RAG 与 AI Agent 的免费 AI/ML 课程

Zero to AI 是一个免费开源的 AI 与机器学习课程，提供 950 多个 Jupyter Notebook，覆盖 Python 与数据科学、机器学习数学、分词与嵌入、深度学习、LLM 与 RAG、AI Agent、提示与上下文工程、微调、MLOps、模型评测与安全等主题，并按学习路径组织为渐进式阶段，适合从零开始系统学习 AI/ML。

LLM-Sanitizer-Pro：面向 LLM 训练与微调的数据清洗与 PII 脱敏流水线

LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。

ai_security_guide：大语言模型与智能体安全攻防指南

这是一本系统讲解大语言模型与智能体安全的中文书籍，从攻击原理、防御机制到验证方法循序渐进。内容覆盖提示注入、RAG 安全、智能体攻击面、身份与架构防御，以及治理交付等主题。书中提供邮件助手、支付预算和 RAG 轨迹三个基于 Python 标准库与合成数据的配套实验，帮助读者在保留正常效用的前提下分别验证控制措施。阅读与实验入门均在 README 和在线 GitBook 中给出。

PromptForge：LLM 应用提示词自动优化与持续调优编排层

PromptForge（仓库名 FlowForge-Optima）是面向将 LLM 应用当作产品运营的团队的提示词编排与持续优化层，专注于让提示词、链路与检索策略随时间自动变得可度量地更好。它提供自动提示词改写（变异、交叉、指令压缩）、内置评测与统计显著性校验、链路级联合优化（检索查询、重排阈值、工具选择提示词）、响应式控制台、多语言提示词方言与跨语言迁移评分、版本图与确定性重放、成本感知目标函数、可插拔模型适配器以及回归防火墙；支持人类审核后再晋升（promotion）。架构分为 Forge Core（优化器、评测器、版本图）、Forge Relay（模型/向量库/日志适配层）与 Forge Console（UI）。README 称 Forge Core 与 Forge Relay 可完全离线自托管，许可证为 MIT，但免责声明强调按“as-is”提供、结果随数据与模型供应商而异，需在预发环境验证。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。