评测与安全01
Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit
rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。
Agent 与自动化02
whj1677/requirements-agent · Local requirements agent for PRD/MRD drafting, review, and handoff
该项目是一个基于 Python 的本地 Web 工作台，面向已有平台的增量需求，提供从创建项目、梳理现状与改动范围、澄清流程与规则、评审 MRD 与 PRD，到确认版本与生成交接包的五步流程。服务仅监听本机 loopback 地址（默认 127.0.0.1:8765），数据保存在本机 data/ 目录，模型侧默认通过 RA_DEEPSEEK_API_KEY 调用 DeepSeek 并支持思考模式；文件名原件、基线与历史记录会保留，正式确认会绑定版本、范围与哈希。注意运行依赖、付费模型调用成本、企业保护格式 Office 读取的兼容范围等材料未完整说明。
推理与部署03
Root1V/prometheus-inference-platform · Production-grade self-hosted LLM inference platform — FastAPI gateway with JWT auth, fine-grained per-model authorization scopes, rate limiting & circuit breakers; multi-backend model manager (llama.cpp/MLX/vLLM/SGLang) across distributed hosts; React admin dashboard; full OTel tracing. Podman-native, 100% self-hosted — no vendor lock-in.
Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。
Agent 与自动化04
ruvnet/RuVector · RuVector provides High Performance, Real-Time decisions and agent memory , Self-Learning Ai, Vector GNN DB built in Rust.
RuVector 是一个用 Rust 编写的向量数据库与 Agent 记忆基础设施，提供本地语义嵌入、持久化向量检索、图关系与超图存储、显式反馈学习、记忆生命周期管理以及可选的共享记忆能力。它包含 @ruvector/typesafe 决策模型，可将文本转为带置信度与弃权信息的类型化决策，适用于工单路由、意图分类、紧急度评估等无需完整大模型调用的受限任务。默认检索路径在本地运行，学习来自记录的结果与反馈，托管服务为可选项并形成独立数据边界。
推理与部署05
ashhart/TensorFold · Fast, exact LLM decoding on Apple Silicon (MLX) behind an OpenAI-compatible endpoint
TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。
Agent 与自动化06
wboudiche/recruiter-agent · AI-assisted sourcing tool: multi-tier LinkedIn extraction + recruiter agent
recruiter-agent 是面向个人招聘者和小型团队的 AI 辅助候选人搜寻工具。它支持从 LinkedIn、GitHub、个人网站、CV 文件或粘贴文本添加候选人，经 LLM 结构化抽取、公开来源信息补充后，按职位加权标准进行 0-100 分评分，并通过看板管理候选人从抽取、评分、验证到邀约、安排面试的全流程。系统还内置带 11 个工具的对话式招聘 Agent，可查询职位与申请、搜索看板、起草和发送邀约、拒绝或验证候选人等，可逆操作支持撤销。所有组件通过 Docker 在本地运行，使用自有 LLM 与 API 密钥。
推理与部署07
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
AI 编程08
codingsahayi/codingsahayi.github.io · Autonomous, privacy-first C# IDE built with WinUI 3. Features multi-agent swarm orchestration, ConPTY test-driven repair, and in-IDE local model fine-tuning with Soup to slash AI token costs.
Coding Sahayi 是一款基于 WinUI 3 与 .NET 8 构建的 Windows 桌面 AI 编程 IDE，强调本地优先与隐私保护。它通过 Ollama 或 LM Studio 等本地推理端点运行模型，实现代码不出本机；内置四类专用 Agent（架构、执行、评审、记录）通过原生 ConPTY 伪终端执行编译与测试命令，在单元测试失败时自动生成修复补丁并循环验证，直到测试通过；同时借助 DiffPlex 提供受控的并排差异审阅，再用 EF Core SQLite 记忆库保存已验证补丁，用于对本地模型进行持续微调。
推理与部署09
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
Agent 与自动化10
ljchang/mecha · A standalone agent harness in Rust: a provider-agnostic loop, MCP tools, a path jail and prompt-injection interlock, sandboxed shell, scheduled triggers, and an eval rig that grades the trace.
mecha 是一个用 Rust 编写的独立 Agent 运行框架（harness），把本地开源权重模型变成能接触个人上下文的助理。它提供提供商无关的对话循环、MCP 工具接入、路径 jailed 与提示注入互锁、沙箱化 shell、定时触发器和基于工具调用轨迹打分的 eval 工具。设计上把安全（私有数据、不可信内容、外发能力构成的“致命三要素”）作为结构性约束而非提示词约束，发送类操作先在 outbox 暂存待人工审核，并支持从对话修正中挖掘规则再进行验证。