推理与部署01
lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
评测与安全02
harbor-framework/harbor · Framework for evaluating and improving agents
Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。
Agent 与自动化03
tarc/carimbo · An AI agent for Brazilian NF-e invoices: extraction, tool-using decisions, durable execution, and a measured eval suite.
carimbo 将巴西电子发票（NF-e）的 DANFE PDF 转为严格类型化的发票记录，并进一步生成可审批/拒绝/升级的判定。项目以可复现的评测套件、确定性校验器、有界修复循环、持久化执行、幂等、追踪与成本归集为支撑，公开每次真实运行的逐案例记录与汇总结果。当前已完成抽取阶段的骨架与带校验的抽取，可重放运行阶段已实现但验证待完成；智能体与持久化执行属于后续里程碑，尚未在路线图内。
评测与安全04
subquadratic-ai/decision-longctx-evals · Evaluating long-context retrieval and reasoning for decision models
该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。
知识库与 RAG05
canvasnemesis318/laya-jev-GraphRAG · Decouple AI from storage with an agnostic Agentic GraphRAG pipeline for Neo4j, Memgraph, AGE, and Kùzu.
该项目提供一个与存储解耦的 Agentic GraphRAG 处理管道，支持 Neo4j、Memgraph、AGE、Kùzu 等图数据库，并声称可兼容 Amazon Neptune、ArangoDB、JanusGraph 及 PostgreSQL、MySQL、MongoDB 等系统。管道包含采集、富化、推理、生成四个阶段，采用自定义 A* 图遍历算法，内置持续评测机制，并提供 Laya（本地）与 Jev（云端）两种可切换的模型提供方。README 还包含面向 Windows 非技术用户的下载、解压与运行说明。