doc2dataset:将文档转换为结构化数据集供 LLM 使用
reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.
doc2dataset 是一个帮助用户从文档生成数据集的工具,支持 PDF、DOCX、TXT 等格式,输出 CSV、JSON 等多种格式,便于与各类机器学习框架集成。据 README 介绍,其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性,并提供面向非技术用户的图形界面。项目使用 Rust 编写,采用 Apache-2.0 许可证。
评论 · 分享第一个看法