工具
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目,目标是在 CPU 上完成高效推理与聊天交互,并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能,支持 Windows、Linux 和 macOS,附带入门安装步骤与学习资料,定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
展开详情收起详情:cpu-slm:在 CPU 上运行的 Rust 大语言模型推理与对话工具⌄
程序员在本地 CPU 上运行 SLM/LLM 推理与聊天,用于理解稀疏语言模型和大语言模型的工作原理,并借助 AVX2 指令集提升性能。
★ 2 · 可直接使用的工具
原文发布:未知收录:2026-09-26
工具
langchain-ai/open-swe · An Open-Source Asynchronous Coding Agent
Open SWE 由 LangChain 构建,是一个开源软件工厂(software factory),在 Deep Agents 与 LangGraph 之上组合出端到端的工程代理:接受来自仪表盘、GitHub、Slack 或 Linear 的代码变更任务(或按计划触发),在隔离沙箱中理解代码库、规划、修改代码、验证并提交拉取请求。除代码生成外,它还能只读审查 Pull Request、学习仓库的评审偏好、监控 CI 并响应反馈(如 /baby-sit 诊断 CI 失败)。项目支持多模型与推理强度配置、可插拔沙箱提供方(LangSmith 默认,另有 Modal、Daytona、Runloop、E2B 及本地执行)、以及通过技能、提示词、中间件和触发器进行定制。README 说明该项目处于活跃开发阶段,可能有破坏性变更,目前不接受 issue 和外部贡献,不保证正确性、稳定性与兼容性。
展开详情收起详情:Open SWE:基于 Deep Agents 的开源异步软件工程代理⌄
程序员作为异步软件工程代理,接受来自仪表盘、GitHub、Slack 或 Linear 的代码变更任务,在隔离沙箱中理解代码库、规划、修改代码、验证并提交拉取请求;还可只读审查 Pull Request、学习仓库评审偏好、监控 CI 并响应反馈(如 /baby-sit 诊断 CI 失败)。
★ 10766 · 开发框架
原文发布:未知收录:2026-09-26
工具
langchain-ai/smithtune · LangSmith Post-Training CLI
smithtune 是 LangChain 推出的后训练 CLI 工具(早期 beta),用于将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审(agent council),到数据准备、训练、基于 judge 的基础模型与微调模型对比评测,以及在 Fireworks 或 Baseten 上部署推理端点的完整流程,并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用,命令与目录格式可能在版本间变化,README 未说明具体硬件、成本与免费/商用授权条件。
展开详情收起详情:smithtune:在 LangSmith 轨迹上微调模型并评测部署⌄
程序员程序员可用 smithtune 将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 微调模型,随后在 LangSmith 中对比基础模型与微调模型,并可选部署推理端点供应用使用。
★ 18 · 可直接使用的工具
原文发布:未知收录:2026-09-26
工具
azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.
SkillFoo 是一个本地实验性 CLI,用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界,冻结原始 B0 与生成的 S0,维护 Anchor/Elite/Diversity 进行多代变异与精修,并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选;若没有合格改进则保留起点。项目只优化 SKILL.md,不覆盖输入 Skill、不自动发布候选,Live 执行需配置 OpenAI-compatible Provider。
展开详情收起详情:SkillFoo V3.2 U1:在冻结评测与安全边界下受控演化 SKILL.md⌄
程序员使用 SkillFoo 本地 CLI 在冻结评测合同与安全边界下受控演化 AI Skill 的 SKILL.md,通过多代变异与精修生成候选,并依据确定性 verifier 与五维最低线等非退化保护选择候选或保留起点,用于改进 AI 技能指令。
★ 38 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
codingsahayi/codingsahayi.github.io · Autonomous, privacy-first C# IDE built with WinUI 3. Features multi-agent swarm orchestration, ConPTY test-driven repair, and in-IDE local model fine-tuning with Soup to slash AI token costs.
Coding Sahayi 是一款基于 WinUI 3 与 .NET 8 构建的 Windows 桌面 AI 编程 IDE,强调本地优先与隐私保护。它通过 Ollama 或 LM Studio 等本地推理端点运行模型,实现代码不出本机;内置四类专用 Agent(架构、执行、评审、记录)通过原生 ConPTY 伪终端执行编译与测试命令,在单元测试失败时自动生成修复补丁并循环验证,直到测试通过;同时借助 DiffPlex 提供受控的并排差异审阅,再用 EF Core SQLite 记忆库保存已验证补丁,用于对本地模型进行持续微调。
展开详情收起详情:Coding Sahayi:本地优先的 Windows 自主 AI 编程 IDE⌄
程序员在 Windows 上使用本地优先的 AI 编程 IDE 进行代码编写、测试与排错:通过四类专用 Agent(架构、执行、评审、记录)分析代码库、生成补丁,并在 ConPTY 伪终端中运行编译与测试命令,单元测试失败时自动生成修复补丁并循环验证,直到测试通过;同时使用 DiffPlex 并排差异审阅在写入磁盘前检查修改。
★ 4 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档,针对 Intel Arc Pro B70(32 GB,BMG-G31 / Xe2)及其他 Battlemage B 系列显卡,持续更新 oneAPI、compute-runtime、IGC 等依赖,并提供 B70 专用的 AOT 构建(bmg-g31)。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启,不设置 GGML_SYCL_DISABLE_OPT,并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
展开详情收起详情:llama.cpp-sycl-intel-b70:面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南⌄
程序员程序员可在 Intel Arc Pro B70 上通过该 Docker 镜像部署 llama.cpp + SYCL 本地推理服务,用于运行 Qwen3 27B 级别模型并作为编码/Agent 工作负载的本地 LLM 后端;仓库提供构建脚本、运行参数、采样参数与基准测试方法,便于复现和调优。
★ 4 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
Saikrishna0327/Interview-intel · Interview Intelligence platform: auto-records recruiting calls and generates HR scorecards with AI.
Interview Intelligence 平台,能够自动录制招聘通话,并借助 AI 生成 HR 记分卡。项目基于 TypeScript 与 Next.js 构建。README 主要为 Next.js 脚手架的默认说明,未提供 AI 模型、成本或部署细节。
展开详情收起详情:Interview-intel:自动记录面试通话并由 AI 生成 HR 评估记分卡⌄
HR自动录制招聘通话,并借助 AI 生成 HR 记分卡,用于面试评估和招聘决策。
★ 0 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
DeibyGS/applyr · CLI job application tracker designed for AI coding agents
applyr 是一个为 AI 编程 Agent 设计的 CLI 求职申请跟踪器,充当存储层,由 AI Agent 负责分析。它支持粘贴职位描述后生成加权的 0–100 兼容性评分、APPLY/MAYBE/LOW MATCH 推荐、技能差距分析,以及定制化的 ATS 安全简历。项目本地优先,使用 SQLite 存储,无需 API 密钥。
展开详情收起详情:applyr:面向 AI 编程 Agent 的命令行求职管理工具⌄
程序员程序员可参考或复用该项目的 Python 实现与 CLI 设计,例如加权评分引擎、SQLite 存储层、ATS 兼容性检查、Markdown 转 ATS-HTML 渲染以及确定性声明核验逻辑,用于构建面向 AI Agent 的本地优先工具。
HRHR 可将 applyr 作为招聘筛选辅助工具:粘贴职位描述后由 AI Agent 生成加权 0–100 兼容性评分、APPLY/MAYBE/LOW MATCH 推荐和技能差距分析,用于快速评估候选人与岗位的匹配度;还可使用内置的招聘官评审提示对简历进行 0–100 打分并给出改进建议。
★ 4 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
ljchang/mecha · A standalone agent harness in Rust: a provider-agnostic loop, MCP tools, a path jail and prompt-injection interlock, sandboxed shell, scheduled triggers, and an eval rig that grades the trace.
mecha 是一个用 Rust 编写的独立 Agent 运行框架(harness),把本地开源权重模型变成能接触个人上下文的助理。它提供提供商无关的对话循环、MCP 工具接入、路径 jailed 与提示注入互锁、沙箱化 shell、定时触发器和基于工具调用轨迹打分的 eval 工具。设计上把安全(私有数据、不可信内容、外发能力构成的“致命三要素”)作为结构性约束而非提示词约束,发送类操作先在 outbox 暂存待人工审核,并支持从对话修正中挖掘规则再进行验证。
展开详情收起详情:mecha:面向本地开源权重模型的个人助理 Agent 运行框架⌄
程序员作为本地开源权重模型的 Agent 运行框架,可用于在自有硬件上运行编码助理:通过 MCP 接入工具、在沙箱化 shell 中执行命令、用 mecha eval 基于工具调用轨迹对模型打分、用 mecha replay 重放会话排查分歧,并借助路径 jailed 与提示注入互锁约束代理行为。
★ 8 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板:用冻结且带哈希指纹的评测套件定期跑 16 个模型(覆盖 5 家实验室),记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化,帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成(精确匹配、子串、正则或数值比较),不使用 LLM 裁判。套件含 35 个任务并按能力分类,每晚三次取中位数以降低采样噪声,结果存入仓库内的 drift_board.json 并由看板读取。
展开详情收起详情:model-drift:面向多厂商 LLM 的公开回归追踪与漂移监控面板⌄
程序员作为 LLM 可观测性工具,程序员可用它定期对多个厂商的模型运行冻结评测套件,追踪准确率、延迟、冗长度、可靠率和拒答率随时间的变化,从而发现模型被静默更新后的质量漂移;也可用确定性评分机制(精确匹配、子串、正则或数值比较)对模型输出做回归测试。
★ 1 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端,用于在单机或小型集群上启动、监控和管理多个 llama.cpp(llama-server)实例。它本身不含 llama.cpp 代码,通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像,并提供兼容 Ollama 与 OpenAI 的代理(:42069),可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入(图片/PDF)、实例监控、用户与 API Key 认证、请求记录,以及可选的多节点集群和知识库/MCP 功能。
展开详情收起详情:llamaMan:在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面⌄
程序员程序员可用 llamaMan 在单机或小型集群上通过浏览器界面启动、监控和管理多个 llama.cpp(llama-server)实例,并利用其兼容 Ollama 与 OpenAI 的代理(:42069)对接 Open WebUI 等客户端进行本地大模型推理服务。
★ 14 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.
该项目是一个服务测量工具包,起源于推测解码速度实验,包含标准库 Python 客户端,用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标,并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验(单张 RTX 4090 上 1536 次 vLLM 请求)的原始轨迹、结果表与对比数据,以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置,不构成通用最快服务栈的选型依据,也未声称无损加速或输出质量提升。
展开详情收起详情:Inference Systems Lab:LLM 推理服务基准测量与证据复现工具包⌄
程序员用于对本地 OpenAI 兼容 /v1/chat/completions 端点进行流式服务基准测量:记录首块到达、块间隔、总延迟、服务端 token 数,并支持固定大小闭环并发阶段;也可离线校验已记录结果并运行单元测试,辅助推理服务性能排错与复现。
★ 0 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
agent-sh/audit-project · Multi-agent iterative code review until zero issues remain
audit-project 是一个多智能体迭代代码审查工具,可运行最多 10 个专用审查 agent(4 个常驻加最多 6 个按项目特征条件激活),发现代码问题后自动按严重程度修复,并对修改过的文件重新审查,循环往复直到代码库干净或用户中止。每个发现包含 file:line 位置、严重级别、代码片段、修复建议和改动量估计;破坏测试或构建的修复会被回滚。支持全项目审查、指定路径、仅安全域、单次快速扫描、最近 5 次提交范围、生成 TECHNICAL_DEBT.md 以及从保存队列恢复,并可在已有 repo-intel 数据时用测试缺口信号优先审查高频变动且无配套测试的文件。
展开详情收起详情:audit-project:多智能体迭代式代码审查直到零问题⌄
程序员在发布或重大合并前进行多智能体迭代式代码审查,自动发现并修复代码问题,按严重程度排序修复,对修改文件重新审查直到代码库干净;也可用于安全域专项审计、最近提交快速扫描、生成 TECHNICAL_DEBT.md 等。
★ 3 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
Kyaw-Min-Thant/plux · Plux: AI-powered filetree that lets you grab files with one click and save insights in a built-in notepad. Reduce copy-paste friction, boost productivity. 🐙
Plux 是一个基于文件树的桌面工具,将可点击的文件树、一键把文件推送给 AI 对话的加号按钮、用于记录洞察的内置魔法笔记本,以及用于连接 AI 模型的 MCP 系统整合在一个工作区中,旨在减少复制粘贴操作、提升 AI 辅助工作效率。它支持多种大语言模型和本地推理引擎,可跨 Windows、macOS、Linux 运行。
展开详情收起详情:Plux:基于文件树的一键式 AI 工作流与笔记工具⌄
程序员程序员可将代码文件通过文件树一键推送给 AI 对话,获取代码解释、性能考虑和改进建议,并将建议记录在内置笔记本中。
产品经理产品经理可分析设计文档或 UI 规格,提取需求列表、边缘情况和改进建议,并在笔记本中跟踪决策和参考。
★ 8 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
beeracs/Llama · Run Llama models in your web browser using JavaScript and WebAssembly. Explore light and dark modes easily. 🌐🐱👤
Llama 是一个基于 JavaScript 和 WebAssembly 的浏览器端 AI 聊天机器人项目,用户无需安装即可在现代浏览器中打开页面并与 Llama 模型对话。它提供简洁的聊天界面、多种可选角色以及明暗主题,README 说明其使用 HTML/CSS 构建前端,并借助 WebAssembly 提升运行性能。项目以 MIT 许可证开源,鼓励社区贡献,未来计划加入多语言支持、更强的 AI 能力以及移动端适配。
展开详情收起详情:Llama:在浏览器中运行 Llama 模型的网页聊天机器人⌄
程序员在浏览器中直接运行 Llama 模型进行对话,可用于本地测试聊天机器人交互或作为前端 AI 聊天界面的参考实现。
★ 0 · 可直接使用的工具
原文发布:未知收录:2026-09-25
工具
Q-ANT-GmbH/qant_native_computing_toolkit
Q.ANT 官方提供的原生计算工具包,用于在 Q.ANT 原生处理单元上运行工作负载。提供 Python(wheel/pip)与 C/C++(Debian 包 / 共享库)绑定,支持在有 Q.ANT 硬件与驱动时使用硬件后端,也提供 cpu-backend 独立模式,可在无 Q.ANT 硬件的 CPU 上进行开发,并附有文档与独立示例仓库。
展开详情收起详情:Q.ANT native computing toolkit:在 Q.ANT 原生处理单元上运行工作负载的官方 API⌄
程序员程序员可使用该官方 API 在 Q.ANT 原生处理单元上运行工作负载,并通过 Python(wheel/pip)或 C/C++(Debian 包/共享库)绑定进行开发;在无 Q.ANT 硬件时可用 cpu-backend 独立模式在 CPU 上开发。
★ 32 · 开发框架
原文发布:未知收录:2026-09-25
工具
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台,以 OpenTelemetry 原生 tracing 为核心,可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理,以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server,发布配套的 scenario Agent 测试框架与 better-agents 标准,核心以 Apache-2.0 授权(ee/ 企业模块为商业许可),可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
展开详情收起详情:LangWatch:LLM 可观测性、评估与 Agent 测试平台⌄
程序员对 LLM 应用进行埋点观测与调试:通过 OpenTelemetry 原生 tracing 采集 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等应用的 trace,并使用 Traces API 搜索、检索、分享 trace;同时可运行实时与批量评估、管理带标注数据集、对 Agent 进行多轮对话模拟测试。
产品经理借助协作标注与标注工作流对 trace 进行人工标注和分级,产出用于评估与微调数据集的示例;并通过 Analytics API 查看 traces、tokens、成本、延迟与评估分数的时序分析,用于产品数据分析。
★ 1 · 可直接使用的工具
原文发布:未知收录:2026-09-24
工具
kyopark2014/rag-multimodal · This shows how to use multimodal RAG using managed OpenSearch.
该项目演示如何用多模态 LLM 处理含复杂表格、图表的 PDF:将每页渲染为图片后由 Bedrock 多模态模型转成 Markdown,经 parent/child 分块与 embedding 后写入 Amazon Managed OpenSearch,再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。附带 FastAPI + React 界面,并提供基于 installer.py 的 S3、OpenSearch、CloudFront、Lambda 等基础设施部署脚本。
展开详情收起详情:rag-multimodal:基于 Managed OpenSearch 与多模态 LLM 的表格/图表 PDF 检索增强问答演示⌄
程序员作为可复用的多模态 RAG 参考实现,程序员可参考其代码与架构来构建处理含复杂表格、图表的 PDF 的检索增强问答系统:将 PDF 页面渲染为图片后由 Bedrock 多模态模型转成 Markdown,经 parent/child 分块与 embedding 写入 Amazon Managed OpenSearch,再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。
★ 3 · 研究实现
原文发布:未知收录:2026-09-24
工具
api-evangelist/marqo · Marqo — independent third-party profile of a public API surface, by API Evangelist. Marqo is an open-source, multimodal vector search engine that lets developers index text and images, generate embeddings on the fly, and run tensor, lexical, and hybrid search through a single REST API.
Marqo 是一个开源的多模态向量搜索引擎,开发者可通过单一 REST API 索引文本与图像、即时生成嵌入,并执行张量、词法与混合搜索。引擎基于 Vespa 做存储与检索、FastAPI 提供 HTTP 接口,并在引擎内集成模型推理(Sentence Transformers、OpenCLIP、ONNX),一次 docker run 即可启动可用的语义搜索栈。该 Apache 2.0 开源引擎已被维护者标记为不再维护(deprecated),官方转向托管电商搜索产品,但项目仍被广泛 fork、下载与自托管,并有 Python 客户端、Terraform provider、InstantSearch 客户端、电商嵌入模型与研究项目等配套仓库。
展开详情收起详情:Marqo:开源多模态向量搜索引擎与语义检索 REST API⌄
程序员通过单一 REST API 索引文本与图像、即时生成嵌入,并执行张量、词法与混合搜索,用于构建语义检索功能。
产品经理借助该开源多模态向量搜索引擎的语义检索能力,为电商搜索类产品提供检索方案参考。
★ 0 · 可直接使用的工具
原文发布:未知收录:2026-09-24
工具
Agomonia-Labs/adar-core · ADAR: Agentic Data Access and Reasoning — general-purpose multi-agent AI platform built on Google ADK and Gemini. ARCL cricket is the reference implementation.
ADAR Core 是一个通用多智能体 AI 平台,构建在 Google ADK 和 Gemini 之上,提供 API、ADK Agent 加载配置、共享 UI 与基础设施脚本等共用模块,并以领域应用的方式组织。仓库内含 Geetabitan(孟加拉语 Rabindra Sangeet 助手)、ARCL(美国休闲板球联赛助手,作为参考实现)和餐厅推荐三个领域应用,各领域在 domain 目录中自备配置、Agent、数据摄取、部署与排障文档,通过设置 DOMAIN 环境变量选择运行。
展开详情收起详情:ADAR Core:基于 Google ADK 与 Gemini 的多智能体数据访问与推理平台⌄
程序员作为基于 Google ADK 与 Gemini 的多智能体平台参考实现,程序员可参考其 API、ADK Agent 加载配置、共享 UI 与基础设施脚本等共用模块,以及各领域自备的配置、Agent、数据摄取、部署与排障文档,用于构建和排错多智能体 AI 应用。
★ 0 · 开发框架
原文发布:未知收录:2026-09-24