doc2dataset：将文档转换为结构化数据集供 LLM 使用

reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.

GitHub原文发布未知首次收录 2026-10-07上架 2026-10-07 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。据 README 介绍，其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性，并提供面向非技术用户的图形界面。项目使用 Rust 编写，采用 Apache-2.0 许可证。

# Rust # machine-learning # cli-tool # dataset # document-processing

核心能力与快速开始

★ 1 · Rust

能做什么: 从 PDF、DOCX、TXT 等文档生成结构化数据集；支持设置输出格式（CSV、JSON 等）、包含或排除特定章节、处理文档数量等参数；提供批量处理、进度显示和下载链接；README 声称具有 Token 效率、多框架输出集成和借助 NumGuard 保持数值完整性等特性。
适用场景: 为 LLM 训练或微调准备数据集；将文档批量转换为 CSV/JSON 结构化数据；文档理解与评测相关的数据准备；面向非技术用户的数据集生成流程。
项目形态: 可直接使用的工具
部署方式: 未说明
主要依赖: README 列出：操作系统为 Windows 10 或更高、macOS 10.15 或更高、或任意近期 Linux；建议至少 4GB RAM；500MB 可用磁盘空间；需要互联网连接以下载和更新。
使用限制: 支持格式限于 PDF、DOCX、TXT；README 提及的安装文件链接指向压缩包而非实际对应操作系统的安装包，可能存在文档与实际发布不一致的问题；其余限制未说明。
许可证: Apache-2.0
最近推送: 2026-10-06 13:50

核对 README 依据 ↗

资料检查：2026-10-07 07:00 · 卡片整理：2026-10-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

将 PDF、DOCX、TXT 等文档转换为 CSV、JSON 等结构化数据集，用于机器学习框架集成和 LLM 相关开发。

查看内容依据

doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

all2md：将 PDF、Office 等 40+ 格式转换为面向 LLM 的 Markdown 并支持反向转换

all2md 是一个 Python 库与命令行工具，基于 AST 流水线将 PDF、Word、PowerPoint、HTML、邮件、表格、电子书、代码等 40 多种格式转换为结构化、LLM 友好的 Markdown，并支持将 Markdown 反向转换为 DOCX、PDF、HTML 等富文本格式。项目面向 RAG 数据摄入、LLM 预处理、批量自动化和 Python 应用嵌入，同时提供 rcat 终端文档阅读器，以及批量转换、grep、语义搜索、diff、分块等命令行能力，并内置 MCP 服务器。

Open Max：终端中运行的自扩展 Rust 编程 Agent 载体

Open Max 是一个用 Rust 编写的轻量终端编程 Agent 载体（harness），以单个二进制在项目目录中运行聚焦的 agent 循环，并把每次工具调用流式显示在终端。它内置 list_dir、read_file、write_file、edit_file、glob、grep、bash 七个工具和简短系统提示，支持本地服务器（Ollama、LM Studio、vLLM、llama.cpp）、云端网关（OpenRouter 等）和私有代理，通过 base_url 或 providers.json 中的命名端点切换模型。项目强调基于文件的扩展（TOML 工具、SKILL.md 技能、提示模板、hooks、权限规则）和基于文件的记忆，并提供 --recall 对历史会话、压缩归档、摘要与记忆做流式检索。它包含全屏 TUI 与无头打印模式，会话与配置保存在本地 ~/.openmax/，除配置的模型端点外不主动外联。

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。