数据处理工具
DataOS：以对象模型、关系图谱与溯源为核心的数据操作系统
KUNDURUHIMANEESHREDDY/dataos · Graph-based data operating system. Universal object model, first-class relationship graph, and first-class provenance - every derived result traceable to its real source. AI is an operator over the graph, never an authority. 12 pluggable computation engines.
ELI5：它是什么，解决什么问题
DataOS 是一个基于 Python 的数据平台，围绕通用对象模型、一等关系图谱和一等溯源三个理念构建，让每个派生结果都可追溯回真实来源。项目包含 12 个可插拔计算引擎（图谱分析、SQL/Python 计算、混合检索、数据剖析、质量校验、统一查询、溯源解释、治理、差异对比、目录、动作、使用统计），并提供 CLI、REST 后端与 Next.js 前端。README 指出库层较完整（约 180 个 Python 文件、约 670 个测试、653 个正确性测试通过），但 FastAPI 后端仍调用已不存在的旧 API，约 22/35 个端点返回 500；Prisma schema 未被任何代码使用。设计原则是“AI 是图谱上的算子，而非图谱的权威”，通过能力门控与必须提供证据的 grounding gate 来约束 AI 行为。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供通用对象模型（13 字段 DataObject、22 种对象类型）与 23 种关系类型的关系图谱；内建 12 个引擎包，覆盖多跳遍历、路径查找、PageRank/中心性/社区发现（NetworkX）、SQL 执行、Python 沙箱、16 种内置管道变换、BM25/TF-IDF + 向量相似度 + 图邻近度的混合检索、数据剖析、数据质量与契约校验、SQL/Python/图谱/NL 统一查询、溯源解释（why/impact）、重复检测、语义与数据差异、数据目录、动作注册与使用统计。溯源方面在每次保存对象时自动写入版本快照，并支持导出 OpenLineage RunEvent JSON。AI 侧通过能力门控（15 项能力、最小权限 agent 允许列表）与 grounding gate（未验证断言直接报错）实施约束，Python 沙箱限制 AST、内置函数与执行时长/输出体积。
- 适用场景
- 适合需要将数据资产、派生结果与来源关系统一建模并进行依赖追踪的场景；用于构建带数据血缘/溯源查询的数据目录与治理工具；用于以图谱为中心的检索与问答（混合检索 + 图邻近度）；用于需要证据校验、防止 AI 编造结论的分析流水线；用于数据剖析、质量校验、契约验证和数据集版本对比。
- 项目形态
- 开发框架
- 部署方式
- 未说明；README 提及默认使用 SQLite 本地存储，无需外部服务。CLI 与库可从仓库根目录直接运行；后端需以 uvicorn 启动。Postgres、S3、GCS、Azure 为可选，README 指出 Postgres 连接失败时会静默回退到内存 SQLite。
- 主要依赖
- Python（README 示例使用 Python 3.11/3.12 相关行为）；有 requirements.txt，但无 pyproject.toml/setup.py，需从仓库根目录运行。唯一环境变量为 DATAOS_MASTER_KEY，其余为构造参数（如 db_path、blob_dir）。默认未接入 LLM，使用 MockDeterministicProvider 与 HashEmbeddingProvider(dimension=128)。
- 使用限制
- README 明确说明 FastAPI 后端面向已不存在的 DataOS API，约 22/35 个端点返回 HTTP 500；Prisma 完全未被代码引用；12 个引擎中有 6 个未接入内核或 API；provenance_events 事件日志仅在测试中被调用，所谓溯源遍历实为依赖图遍历而非审计轨迹；能力门控与 grounding gate 均未接入 HTTP API；PostgresStorage 与 SQLiteStorage 存在接口漂移，关系 JSON 字段名与前端不一致导致图边渲染为 undefined；无端点鉴权，CORS 为 allow_origins=["*"] 且 allow_credentials=True；test_benchmarks.py 含 50ms 墙钟断言，在不同硬件上不稳定；context/ 文档与代码实现严重不符。
- 许可证
- 未说明
- 最近推送
- 2026-10-03 09:19
资料检查：2026-10-04 07:00 · 卡片整理：2026-10-04 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
作为 Python 数据平台库，可用于数据摄取、SQL/Python 计算、混合检索、数据剖析与质量校验，并通过溯源查询（why/impact）追踪派生结果的来源；CLI 可执行 ingest、sql、search、health、export 等操作。
查看内容依据
python -m cli ingest data.csv python -m cli sql "SELECT name, score FROM demo_csv" python -m cli search "alpha" --limit 3 python -m cli health python -m cli export --format dot
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。