AI 编程141
akshayKarai/AI-Code-reviewer · CodeSage is a full-stack AI Code Reviewer that analyses any code snippet and returns structured, actionable feedback. Paste your code, choose your focus areas, and get back a quality score, categorised issues with line references, fix suggestions, and even a refactored snippet.
CodeSage 是一个全栈 AI 代码审查应用：用户粘贴代码并选择审查重点后，后端将结构化提示发送给 Anthropic Claude 模型，返回质量评分（0–100）、按严重程度分类并带行号的问题、修复建议、代码亮点以及可选的代码重构片段，另提供代码解释功能。项目由 FastAPI 后端与 Streamlit 前端组成，支持 16 种语言，并以 REST API 形式提供审查与解释接口。
Agent 与自动化142
AceDataCloud/Skills · Agent Skills for AceDataCloud AI services — music, image, video generation, web search, and more. Compatible with Claude Code, GitHub Copilot, Gemini CLI, and all agentskills.io-compatible agents.
这是一个基于 agentskills.io 开放标准的 Agent Skills 集合，用于让 Claude Code、GitHub Copilot、Gemini CLI、OpenAI Codex、Cursor 等 AI 编程代理接入 AceDataCloud 的各类 AI 服务。它涵盖音乐、图像和视频生成，LLM 聊天，网页搜索，人脸变换，短链，以及 GitHub、Slack、Notion、企业微信等第三方连接器；通过安装单个技能并使用 AceDataCloud API Key 调用对应接口。
评测与安全143
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
AI 编程144
subhamtri2015/governed-ai-app-builder · Governed AI App Builder: An Enterprise Product Management Case Study on Human-in-the-Loop Scaffolding with RBAC Guardrails
该项目是一个以产品案例研究形式呈现的作品集项目，围绕低代码平台中的“AI 草稿与审核”助手展开：用户用自然语言提出内部工具需求（查询、表格、表单），AI 生成可逐部件审阅的草稿，由人工对每个部分接受或拒绝后才可发布；系统还会依据 RBAC 在上游裁剪无权访问的表并在预览中说明原因。仓库包含用户研究、PRD、30 条评测提示集与评分标准、OpenAPI 接口规范、遥测与指标 SQL、RICE 优先级、交付计划、QA/GTM 文档以及 Python 校验原型与测试。项目为个人自发作品集案例，不与任何公司或客户关联，文中目标、RICE 分数与故事点均为示意性假设。
评测与安全145
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
评测与安全146
LavishSphere/patchlane · Autonomous incident response for financial systems, powered by secure AI agent sandboxes.
Patchlane 是一个面向金融系统的自主事件响应项目：当转账等服务出现资金安全缺陷时，它按欺诈规则检测异常，在 Daytona 隔离沙箱中复现攻击，由 Factory Droid 在沙箱内分析并编写修复，再把补丁应用到第二个干净沙箱，用智能体未见过的留出测试和回归测试进行验证，最后等待人工审批。项目还提供 React 仪表盘、场景构建器和 Chalk 基准评测，并给出多组种子缺陷案例的运行结果。
评测与安全147
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
推理与部署148
tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)
Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。
评测与安全149
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
Agent 与自动化150
Sagargupta16/orrery · Animated architecture and system design diagrams with official AWS, Azure, Google Cloud, Kubernetes, GitHub and IBM icons. YAML in; SVG, PNG, draw.io, React TSX and HTML out. An Agent Skill, Claude Code plugin and npm CLI. Gallery: sagargupta.online/orrery
orrery 是一个以 YAML 描述架构图和系统设计图的工具：输入一份规格文件，经校验、自动布局和渲染后，输出动画 SVG、PNG、可编辑 draw.io、React TSX 组件和独立 HTML 查看器。它内置 AWS、Azure、Google Cloud、Kubernetes、GitHub、IBM 等官方图标集，并提供图标校验、图标搜索、规格校验和按读者可见宽度评分图表可读性的审查命令。它同时提供 Agent Skill、Claude Code 插件和 npm CLI，可导入 Mermaid 流程图，还支持 ISO 5807 流程图、BPMN 2.0、UML 状态机、组织架构图、心智图和客户旅程图等业务流类型。
Agent 与自动化151
freecodecampsara93/AI-Recruitment-Assistant · AI-powered recruitment agent built with n8n, Google Gemini, PostgreSQL, and Gmail for candidate search, candidate management, and automated email actions.
该项目用 n8n 编排招聘助手智能体，接入 Google Gemini 对话模型、PostgreSQL（Supabase）候选人库与 Gmail，通过工具调用完成候选人搜索、详情查询，以及待审批的状态变更和邮件请求。智能体本身不具备改数据或发邮件的权限，所有写操作以 pending 记录进入待审批表，由独立工作流定时推送给 HR 经理，经 Gmail 审批后才执行；同时提供 Webhook Header Auth、参数化 SQL 与数据库约束等安全措施。
AI 编程152
jhermesn/wrong-answer-labs · Turn AWS Certification questions you got wrong into hands-on CloudFormation labs with an automated grader. An Agent Skill and Claude Code plugin.
该项目是一个面向 Claude Code 的 Agent Skill 及插件。用户把 AWS 认证练习题中的错题以文本、截图或 PDF 的形式交给 AI 编程代理后，代理会先在官方文档中确认答案，再把相关题目归纳成业务场景，并为每个场景生成一个 CloudFormation 实验环境。实验包含挑战任务和自动评分脚本 check.sh，还提供清理脚本。对于 Direct Connect、AWS Organizations 策略等难以复现的主题，则改为生成学习笔记和官方文档链接。实验生成过程会经过成本、安全和正确性自动检查，实验运行在用户自己的 AWS 账户中。
评测与安全153
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
评测与安全154
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
AI 编程155
rogeriojunior31/lazyagents · The lazygit for AI coding agents: skills, sessions, usage, providers and hooks for Claude Code, Codex, Gemini CLI, OpenCode, Pi, Crush and Hermes Agent.
lazyagents 是一个用 Go 编写的终端界面工具，被类比为 lazygit，用来在同一个界面中管理 Claude Code、Codex、Gemini CLI、OpenCode、Pi、Crush 和 Hermes Agent 等 AI 编程助手。它提供技能库；支持检索、恢复和导出会话；可保存 API 或本地模型连接；可管理 hooks；可备份并恢复配置；还可按来源与覆盖范围查看用量、令牌和成本信息。项目同时提供 CLI 的无头操作和 JSON 输出，但各助手能力差异较大，需要查阅生成的能力矩阵；项目目前处于 pre-1.0 阶段，命令与格式可能在次版本间变化。
评测与安全156
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
Agent 与自动化157
imrohitagrawal/quorum-ai · Multi-model LLM orchestration with cost approval, source-backed synthesis, disagreement, uncertainty, and degraded-mode disclosure.
Quorum-AI 是一个基于 FastAPI 的研究问答工具：它把同一个问题并行发送给四个 LLM，再经过两轮互评或主持人评审，最后由独立的合成模型给出包含共识、分歧、来源支持、不确定性和建议五项内容的答案。它提供成本预估与分级额度控制（单次软阈值/硬上限、账户日上限、全局日上限），并通过确定性结构评测计算信任分；但信任分默认因评审模型关闭而显示未验证，引用支持仅比对来源标题与链接而不读取页面内容。结果默认不持久化，需要用户手动导出。
应用工具158
zenstory-ai/oh-story-claudecode · Claude Code / Codex / OpenCode agent skills for writing Chinese web novels (网文): 扫榜、拆文、写作、去AI味、封面全流程，长篇短篇都支持 | 13 skills for novel writing and long-form fiction with file-based continuity tracking. MIT.
Oh Story 是一组装进编程 Agent 的网文写作 skill（共 13 个），覆盖长篇与短篇网络小说全流程：扫榜选材、拆解爆款、搭大纲写正文、去 AI 味、生成封面图。它用文件系统作记忆，维护设定、大纲、正文与追踪，支持压缩上下文或换会话后恢复进度与伏笔；提供写前细纲与追踪检查、写后截断与常见 AI 句式检查等确定性门禁，并适配 Claude Code、Codex CLI、Google Antigravity、OpenCode 等 7 款宿主。写作使用宿主 Agent 自带模型，本地只运行 Node/Python 检查脚本；封面生成调用 GPT-Image-2。
AI 编程159
CodeCritic-Reviews/review-action · AI-powered pull request code review for GitHub Actions. Posts findings to PRs, optional merge gates on severity.
CodeCritic Review 是一个 GitHub Actions 动作，在拉取请求 opening 或 synchronization（打开或同步）时调用 CodeCritic API 进行 AI 代码审查，并将审查摘要作为 PR 评论发布。它提供 review_id、0-100 的质量分数和 final status 输出；可按配置等待完成，或将分数用于后续步骤，并据此设置合并门槛。材料也说明这是 AI 生成结果，可能存在误报或漏报，不能替代人工审查或专业安全审计，并且不执行代码、不访问运行时行为。
推理与部署160
Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。