数据处理AI 资源

DataPulse：马来西亚公共数据的信任与互操作验证层

r3dz4r/datapulse-my · Open-source trust & interoperability layer for Malaysian public data: freshness monitoring, schema validation, and health reports for official datasets.

GitHub原文发布未知首次收录 2026-09-19上架 2026-09-19 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

DataPulse 是面向马来西亚公共数据的开源只读验证层，持续探测官方数据集的可达性、时效性、许可证与 schema 变化，并输出可机读的健康状态与证据。它提供 418 个官方数据集目录（含 30 个 GTFS 公交数据源）和只读 MCP 服务器，方便 AI 智能体在引用数据前核查新鲜度、许可证与来源。观察结果通过 Ed25519 签名、Git 源记录与公开透明日志提供可验证的存证。

# MCP # 数据质量 # 开放数据 # 数据溯源 # 马来西亚

核心能力与快速开始

★ 0 · Python

能做什么: 对马来西亚官方数据集进行持续探测，记录可达性、新鲜度信号、schema 形态、记录数与采集特性；采用十种健康状态（fresh、aging、stale、discontinued、degraded、browser-dependent、unreachable、unknown、unknown-freshness、reference）而非笼统的绿色勾选；为每个数据集声明机器可读的许可证；提供签名观察信封（Ed25519）、Git 源记录与 Rekor/Sigstore 公开日志纳入证明；发布 RSS 订阅以通知健康状态变化；提供只读 MCP 服务器（Streamable HTTP，无需认证）暴露 19 个工具，涵盖搜索、获取数据集、查找 stale/异常/schema 漂移、获取溯源与证据、验证数据集与证据等。
适用场景: AI 智能体与开发者可在模型引用马来西亚数据前核查其新鲜度与许可证；研究人员、分析师与记者可用可验证的时效与许可证信息支撑论文、仪表盘或公开报道；合规与监管监测团队可保留数据被核查时刻的防篡改轨迹；公民技术与公共部门人员可查看公共数据的可发现性与描述可靠性。
项目形态: 可直接使用的工具
部署方式: MCP 端点 https://mcp.data-pulse.my/mcp（Streamable HTTP，无需认证）可直接接入 Claude Desktop、Cursor、Cline 等 MCP 客户端；浏览器依赖型探测需要自托管 Camofox headless-Chromium sidecar，并通过 CAMOFOX_BASE_URL 环境变量配置。
主要依赖: Python 环境；浏览器依赖型数据源探测需要 Docker 运行 Camofox sidecar（默认 http://localhost:9377）；接入 MCP 客户端无需 API key。
使用限制: 仅证明官方来源在已知时刻被观察到的状态，不保证上游政府数据在语义上真实；五个数据源需真实浏览器探测，缺少 Camofox 时保持 browser-dependent 状态；未知部署条件、硬件、API 成本与使用限制未说明。
许可证: MIT
最近推送: 2026-09-19 07:00

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-19 07:00 · 卡片整理：2026-09-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

MC Agent Toolkit：为 AI 编程代理提供数据可观测性技能与插件

Monte Carlo 官方推出的 AI 编程代理工具包，将数据可观测性（数据血缘、监控、校验、告警与元数据采集）带入开发工作流。工具包以单一插件形式打包多项技能（skill），涵盖资产健康检查、事件响应与分诊、根因分析、修复、代理链路排障、监控覆盖分析与监控器创建、Monitors-as-Code 管理、dbt/SQL 变更防护、存储成本分析、性能诊断、元数据推送采集、连接认证规则、AI 代理埋点以及仓库接入引导等，支持 Claude Code、Cursor、Copilot CLI、OpenCode、Codex 等编码代理，也可单独安装技能使用。

OpenRouter Uptime：面向 OpenRouter 全模型的独立可用性监测与历史数据集

该项目为 OpenRouter 上每个模型及其各推理提供方建立独立的可用性注册表，通过两个采集器每 15 分钟轮询 OpenRouter 公共 API（无需 API Key），记录约 400 个目录模型、约 1150 个路由端点的状态，并以带时间戳的快照形式提交原始响应与派生数据。仓库提供 raw/、derived/、status/ 三类数据，包括逐端点状态 CSV、最新快照、只追加的故障日志与模型/提供方变更日志，用于重建任意端点的历史可用性；Parquet 镜像每日同步到 HuggingFace 与 Kaggle。

SyntaxRAG：面向 AI 代理的本地代码检索 MCP 引擎

SyntaxRAG（SYNRAG）是一个本地代码搜索 MCP 引擎，通过 Tree-sitter 按函数、类、类型等 AST 结构切分代码，在 CPU 上用 FlashRank（TinyBERT）对 BM25 候选重排序，并构建依赖影响图。它提供搜索、文件大纲、仓库地图、影响范围分析、测试定位及受控编辑等工具，以减少 AI 代理定位代码时的 token 消耗；附带安装脚本、CLI、可选的变更监视服务和 Gemini 相关可选功能。

Brito：带代码知识图谱与可审核技能的终端编码智能体

Brito 是一个面向软件开发的编码智能体，提供命令行工具 brito-cli 和 macOS/Windows/Linux 桌面应用。它不依赖逐文件 grep 阅读，而是用 tree-sitter 增量索引构建代码知识图谱（符号、调用、导入），支持 TypeScript/JavaScript、Python、Svelte/Vue/Astro 组件及多种后端语言，可通过 graph_search、graph_callers、graph_impact 等工具快速回答“改这里会影响什么”。它还会保存记忆笔记，并在任务完成后反思生成项目技能，新技能先进入试用期，经多次成功使用后转正，涉及危险命令或修改已批准技能时需用户审批，并提供隐私检查（如拒绝密钥、curl | sh 等）与手动/自动编辑/计划/全允许等权限模式。支持 Anthropic API 或 Claude Code 订阅作为后端，也可接入 OpenAI 兼容端点，并可作为 MCP 服务器向其他客户端暴露图谱、记忆与技能。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。