搜索归档

rag-eval-toolkit：评估 RAG 管线的 Python 工具包

Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit

rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。

Atlas AI Resume：可与简历对话的全栈 AI 简历门户

kartik-012/Atlas-AI-Resume · 🧭 An ultra-premium, interactive full-stack AI Resume Portal. Features a responsive PDF/A4 viewer, streaming chatbot (Atlas AI powered by Gemini RAG), project explorer, credentials index, and real-time recruiter telemetry.

Atlas AI Resume 是一个全栈 AI 简历门户，采用 React、Express 与 Gemini API 构建，提供响应式 PDF/A4 简历查看、项目展示、证书索引、技能可视化与招聘者行为遥测面板。其核心功能是名为 Atlas AI 的流式聊天机器人，基于本地 RAG 索引（向量嵌入 + 关键词回退）针对简历内容回答问题，并输出置信度分数与可点击的来源引用。

AgentsKit Code Review：低噪音 AI 代码评审 CLI 与 GitHub Action

AgentsKit-io/code-review · Deep, low-noise AI code review — CLI + GitHub Action over the AgentsKit code-review agent

AgentsKit Code Review 是一个基于 AgentsKit code-review agent 的 AI 代码评审工具，提供命令行和 GitHub Action 两种使用方式。它通过七个评审视角提出潜在问题，并以对抗式验证投票过滤较弱发现，以降低噪音；支持自带模型（Claude、Codex、OpenAI、Gemini、Ollama、OpenRouter 等适配器），可本地审 diff、读取 stdin 或在 GitHub PR 上发布内联评论，并提供文件预算、并发、阈值、截止时间和计划（--plan --json）等成本与策略控制。

ellmos ControlCenter MCP：面向本地 MCP 服务器的策略管控平面与审计网关

ellmos-ai/ellmos-controlcenter-mcp · Policy-gated MCP control plane for local discovery, profiles, capability bundles, dashboard, and audited tool gateway

ellmos ControlCenter MCP 是一个基于 Model Context Protocol 的本地 MCP 管理服务器与策略受限网关。它可以发现本地 MCP 服务器、读取 MCP profile 文件、把服务器组织为能力包（capability bundles）、按任务推荐 profile、构建目录、从本地仓库或 profile 探测真实 MCP 工具列表，并提供主机级注册表镜像（锁、权限、资源、治理）以及可选的本地仪表盘。其网关模块允许智能体列出并调用宿主尚未加载的后端 MCP 工具，调用受 pattern 策略规则、参数审计与密钥擦除约束；管理与发现为本地优先，无遥测或后台外联。

SkillRadar：面向开发者与招聘方的 AI 人才评估与 ATS 简历优化平台

eliann313/SkillRadar · Bilateral AI-powered talent platform connecting developers & recruiters. Features ATS resume optimization, automated GitHub/LinkedIn audits, interactive AI mock interviews, and recruiter talent pools. Built with Next.js 16, TypeScript, next-intl, and secure multi-provider LLM integrations (Gemini, OpenAI, Claude, Groq).

SkillRadar 是一个连接开发者与招聘方的双边 AI 人才平台，提供 ATS 简历结构化解析、GitHub/LinkedIn 审计、交互式 AI 模拟面试以及招聘方人才库等功能。后端基于 Next.js 16 与 TypeScript 构建，通过 Vercel AI SDK 集成 Gemini、OpenAI、Claude、Groq、OpenRouter 等多提供商 LLM，支持 BYOK、多级回退、AES-256-GCM 密钥加密、双盲隐私脱敏与 i18n 路由，并内置 Vitest、Playwright、dependency-cruiser 等质量门禁。

CocoaSkills：AI 代理技能（Skills）的本地包管理器与安装器

ivanopcode/cocoaskills · Local skill manager for AI agent skills: reproducible per-project installs, skill dependencies, security audit, multi-agent adapters (Claude Code, Codex CLI, Cursor, Gemini)

CocoaSkills 提供命令行工具 csk，用于管理 AI 代理的技能包：通过 Skillfile.json 声明式描述技能，从 git 仓库拉取并按 tag/commit 锁定版本，计算技能依赖图，生成 Claude Code、Codex CLI、Cursor、Gemini 等环境的适配文件，支持项目级、全局与混合三种安装模式，并提供静态安全审计与事务性安装回滚。它只负责技能的声明式分发与本地布局，不充当公共注册表、代理运行时或 MCP 服务器管理工具。

Conduct：面向 AI Agent 的运行时治理与合规审计控制平面

sseshachala/conductai · Runtime governance for AI agents. Allow, warn, or block every model and tool call before it commits. Hash-chained audit for every decision. Compliance packs for SOC 2, HIPAA, PCI DSS, EU AI Act, SR 11-7, and FDA CSA. Apache 2.0.

Conduct 是一个面向 AI Agent 的运行时治理控制平面，在每次 LLM 调用、shell 工具和 MCP 调用提交前决定允许、警告、审计或拦截，并提供 SHA-256 哈希链审计与面向 SOC 2、HIPAA、PCI DSS、EU AI Act 等的合规包。项目包含策略引擎 Guard、LLM 代理 Router 和聊天界面 Lens，提供自托管 Docker Compose 部署方式和 CLI 工具。

agentproto/ts：在 TypeScript 中后台运行并审核各类编码智能体的开放运行时

agentproto/ts · Open agentic runtime in TypeScript — run any coding agent in the background, check its work before it lands, and project tools/skills/agents/workflows into CLI, HTTP, MCP, SDK, Mastra & the AI SDK.

agentproto/ts 是一个用 TypeScript 编写的开放智能体运行时（当前 0.20.0）。它可以在后台统一启动、对话、观察和停止 Claude Code、Codex、Hermes、opencode、Mastra 等多种编码智能体，并在改动落库前用测试或审核模型检查其工作，提交需通过检查与人工确认。同时提供工具编写与投影能力，可将工具、技能、智能体和流程投射到 CLI、HTTP、MCP、SDK、Mastra 及 Vercel AI SDK 等宿主。项目还包含 AIP 规范体系、工作流/定时任务、MCP 工具面、沙箱、鉴权、密钥、遥测与评测等平台包，并附带 VS Code 扩展。

meow.review.nvim：在 Neovim 中为 AI 辅助开发留下代码评审注释

meowshed/meow.review.nvim · Inline code review annotations for AI-assisted development workflows in Neovim

meow.review.nvim 是一个 Neovim 插件，用于在编辑器中为代码（包括 AI 生成的代码）留下带类型的持久化评审注释，并将其导出为结构化 Markdown 供 AI 代理据此定位和修复问题。注释支持 ISSUE、SUGGESTION、NOTE 等类型，可关联 Treesitter 符号与 git/vimdiff hunk，以 JSON 持久化保存，并支持可插拔的导出器和格式化器。内置 file、file_prompt、clipboard 导出目标，检测到 avante.nvim 或 codecompanion.nvim 时自动注册对应导出器，同时提供导航、解析状态、过期检测、状态栏和 sign column 集成等能力。

desktop-touch-mcp：让 MCP 客户端以语义化方式操控 Windows 桌面应用

Harusame64/desktop-touch-mcp · Windows computer-use MCP server: drive any desktop app via semantic discover-then-act targeting (entities + leases, not pixel coordinates), with per-action perception guards, a native Rust UIA engine, Chrome CDP, and Key Locker credential autofill for ssh/sudo password prompts. Works with Claude, Cursor, and any MCP client.

desktop-touch-mcp 是一个面向 Windows 10/11 的 computer-use MCP 服务器，提供 32 个工具，让 Claude、Cursor 等 MCP 客户端可以截屏、读取 UI Automation 元素、通过 Chrome CDP 操作浏览器，以及进行键盘、鼠标和终端控制。其核心是 discover-then-act 的语义化定位（返回带租约的交互实体而非像素坐标）与逐动作感知守卫，用于在输入落地前核验目标窗口身份和边界。项目还包含 Rust 原生 UIA/图像差异引擎与 PowerShell 回退、Set-of-Marks 视觉回退、CJK 支持、以及用于 ssh/sudo 密码自动填充的 Key Locker。

NEEDLE：驱动无头编程 CLI 智能体的确定性状态机编排器

jedarden/NEEDLE · Headless agent orchestrator with deterministic state machine — processes a bead queue, dispatches to any LLM CLI, handles every outcome. Rust.

NEEDLE 是一个用 Rust 编写的无头智能体编排器，它通过确定性的状态机处理共享的 bead 工作队列：按固定优先级选取并原子认领工作项，生成确定性提示词，分派给内置适配器（Claude Code、OpenCode、Codex、Aider）后以 bash -c 无头执行，并针对成功、失败、超时、崩溃、竞争失败等每种结果走显式处理路径。多个 worker 可在同一工作区并行运行，靠共享队列的 SQLite 事务保证原子性而无需中央编排器；队列为空时按 strand 顺序升级（清理、跨工作区探索、可选的文档补缺、健康扫描、反思等）。它还包含已交付工作门禁（默认要求提交已推送到上游分支）与面向未配置工作区的临时验证回退门禁。

AZCLAUDE：为 Claude Code 提供记忆、Agent、技能与自主 Copilot 的完整 AI 编程环境

haytamAroui/AZ-CLAUDE · The operating system for Claude Code — memory, agents, skills, hooks, and autonomous copilot mode in one install.

AZCLAUDE 构建在 Claude Code 原生架构之上，通过 Markdown 文件与生命周期钩子（hooks）提供跨会话记忆、意图路由、技能自动加载、多 Agent 编排以及自主 Copilot 模式。它在用户输入与 Claude 之间充当中间件：注入状态（goals、decisions、patterns）、按问题/分析/实现三档路由意图、在执行前强制运行问题架构与安全检查，并通过 DAG 调度实现并行 Agent。项目以零依赖的 npm 包形式安装，附带命令、Agent、技能、记忆文件与钩子等组件。

Bruce：自托管的跨平台消息应用个人 AI 助理

DemitriusQuadros/bruce · Self-hosted AI assistant for WhatsApp, Discord, and Telegram — powered by Claude, Gemini, or GPT, with all data on your own infrastructure.

Bruce 是一个用 Go 编写的自托管个人 AI 助理，可接入 WhatsApp、Discord、Telegram 和内置网页聊天，由 Claude、Gemini 或 OpenAI 模型驱动。它通过多轮自主 Agent 循环调用 15 种以上工具（网页搜索、bash、文件、Git/GitHub、Gmail、日历、Docs、Notion、Trello、n8n、HTTP 客户端等），支持定时主动任务与告警、生成并托管独立 HTML 工件，并配有用于管理会话、日程、工件和设置的网页面板与 REST API。所有数据保存在本地基础设施的 SQLite 与 Redis 中。

Rappterbook：面向 AI Agent 的 GitHub 原生社交网络平台

kody-w/rappterbook · Social network for AI agents. Feed SKILLS.md to your AI — it becomes a citizen. No servers, no API keys. GitHub IS the platform.

Rappterbook 是一个面向 AI Agent 的社交网络与协作空间，让 Agent 通过 GitHub Issues、Discussions、Actions 与 Pages 等原生能力注册身份、发帖、评论和协作。它把仓库本身当作平台：读取经 raw.githubusercontent.com 的公开 JSON，写入通过带标签的 Issues 生成状态增量，状态以 state/*.json 文件形式存于 Git，无服务端与 API Key。项目提供 Python 客户端、SDK、MCP server（14 个工具）以及可复用的 skill.md 引导文档，并附带 live dashboard、Agent 控制台、Egg 格式规范等；README 称其包含 144 个 Agent、19 个频道、16,000+ 帖子与 3,750+ 测试，支持 fork 后自建模拟世界。

LangAlpha：面向金融市场的 AI 投研 Agent 工作台

ginlix-ai/LangAlpha · Claude Code for Financial Market

LangAlpha 是一个面向金融市场投研的 AI Agent 框架（自称 "vibe investing agent harness"），用于解读金融市场并辅助投资决策。它以持久化工作区（Daytona 云沙箱）承载研究任务，通过 Programmatic Tool Calling 让 Agent 编写并执行 Python 处理金融数据以减少 token 消耗，并配套原生金融数据工具、MCP 数据服务、金融研究技能（DCF、财报分析等）、Web 研究界面、多模型接入、定时与价格触发自动化、多子 Agent 并行与 Slack/Discord/飞书/Telegram 集成等能力。

Hypnate Backend：面向中小电商卖家的 AI 电商后端基础服务

hyp26/hypnate-backend · AI-powered e-commerce backend for Hypnate — built with Node.js, Express, and Prisma. Handles product management, orders, and future AI/WhatsApp integrations.

Hypnate 是为中小型在线卖家打造的 AI 电商引擎，该仓库是其后端基础，基于 Node.js、TypeScript、Express 与 Prisma 构建，提供安全认证、商品与订单管理、分析等功能，并规划了 AI 与 WhatsApp 集成。技术栈包含 PostgreSQL、JWT 认证与 Docker 容器化，支持 Docker 与本地开发两种启动方式。

Java 新闻汇总：TornadoVM 7.0、Groovy 6.0、GraalVM、Hibernate、Quarkus、Gradle、Maven

2026 年 9 月 21 日这一周，作者 Michael Redlich 汇总了 Java 生态的一批新版本，信息全部来自标题和摘要，没有更详细的功能说明。其中 TornadoVM 7.0 和 Groovy 6.0 是正式版（GA），意味着开发者可以放心用于生产；GraalVM 和 Gradle 出了小版本更新，Quarkus 和面向 Micronaut 的 GDK 做了维护性修复，适合已经使用这些工具的团队升级。Maven 4.0 仍处于第七个候选发布版本，属于正式版前的测试阶段；Micrometer Metrics 和 Tracing 发布里程碑版，Open Liberty 与 Hibernate ORM 发布 Beta 版，都尚未正式稳定。这次汇总没有说明各版本具体改了什么、有哪些限制，需要留意各项目官方发布说明。

Kubernetes 上智能体 AI 的崛起：释放新的基础设施层

如今 Kubernetes 集群、环境和运维信号越来越多，手动管理容易跟不上，配置容易跑偏，出故障的风险也变高。有人提出把「智能体 AI」用到 Kubernetes 上：它能观察集群状态、给出诊断建议、并在事先批准和限定的范围内动手改。前提是让智能体能看到集群状态、策略和权限规则，否则它只能靠猜。对读者来说，这代表多集群管理有望在保持可控的同时更快，但具体产品、可用时间和效果材料没有说明。

从内核分析到 AI：Adrian Cockcroft 谈性能工程

性能工程老将 Adrian Cockcroft 聊了聊 AI 给这个领域带来的变化。以前想搞懂服务器性能数据，得去翻内核源码猜数字含义，他为此写过两本性能调优的书。如今他用 ChatGPT 等工具“氛围编程”，几分钟就能搭出定制分析工具，比如一个开源工具用来分析响应时间分布里的多个峰值，而不是只看 P99 这种单一指标，因为真实系统往往有多个峰值，P99 会误导人。对做性能的读者来说，他的建议是先用低倍“显微镜”找异常，再逐级放大到单条慢请求。

GKE Pod 快照缩短模型加载时间，将工作重心转向快照生命周期管理

Google 为 GKE 的 Pod 快照功能发布了基准测试：启动延迟最高降低 89%，加载一个 700 亿参数的大模型只需 37 秒。过去在 Kubernetes 上冷启动 AI 模型往往要等很久，因为每次都要把模型和数据重新加载进内存。这个功能通过 gVisor 把 CPU 和 GPU 内存的状态保存下来，存进云存储，下次启动时直接恢复。不过开发者提出，快照失效可能才是更难的问题：快照只对规格哈希、机器系列以及内核和驱动版本都一致时才有效。目前只有 Google 公布的基准数据，该功能是否已正式可用、定价如何，材料未说明。