推理与部署01
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层,用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口(含流式),客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列;可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端(多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端)、云端 provider 后端、模型可用性金丝雀探测,以及在可信节点之间出借/借用闲置算力。
推理与部署02
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型,无需 GPU 和 Python,README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行,并提供兼容 OpenAI API 的本地服务接口,方便其他工具接入本地模型。
学习与研究03
alexvervloet/ai-engineering-deep-dive · A from-scratch, build-it-yourself course series for AI engineering. 17 hands-on repos across the API call, RAG, evals, agents, injection, and production. Offline-first, provider-agnostic, no frameworks.
这是一套从零开始、动手构建的 AI 工程课程系列,包含 17(README 中亦称 25)个独立仓库级深潜教程,覆盖 API 调用、提示工程、RAG、评测、Agent、提示注入与防护、生产化等主题。每个概念对应可运行的小型 Python 脚本,多数首个可运行示例无需 API Key,强调离线优先、供应商无关、不依赖框架,仅需基础 Python。另含 bonus 深潜(Agent Harness、上下文工程、AI 数据工程、GenAI 安全、多模态、实时语音、ML 基础、微调、MCP、本地模型、推理平台、可观测性、架构、测试与交付、结构化数据、专业工具)以及 TypeScript 配套版本。
应用工具04
zouyuxuan122/dsh-our-free-model · 在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 Muse Spark 1.3、MiMo V2.6 在内的前沿模型——完全免费,不限量。 All you do is install this plugin in dsh: no login, no sign-up, no API key — the frontier models are just there, Muse Spark 1.3 and MiMo V2.6 among them. Completely free, with no usage cap.
这是一个 dsh(DeepSeek Harness)插件,安装后无需登录、注册或填写 API Key,即可在 dsh 的模型选择器中使用上游网关提供的模型(文档中举例 Muse Spark 1.3、MiMo V2.6)。项目文档描述了内容:模型清单跟随上游刷新、按网络出口实测可用性并区分 region-limited 分组,思考强度以输出 token 预算实现,内置用量看板(本机统计、不上传)、OpenAI 兼容的本地转发端口(/v1/models、/v1/chat/completions、/v1/responses)与局域网中继、公告推送和应用内升级(SHA-256 校验与回滚)。随附大量实现与验收说明,包括流式响应按 body 形状识别、工具调用配对修复、长思考截断后的一次有界恢复。注意:README 中的「完全免费、不限量」为项目自述,实际可用性、地区限制、额度与上游政策均未由第三方核实;文中真实上游实测仅限于作者所述环境(Windows)与部分模型。
AI 编程05
jeffkit/recursive · A minimal, orthogonal, embeddable coding-agent kernel in Rust.
Recursive 是一个用 Rust 实现的最小化、正交、可嵌入的编程智能体内核(ReAct 循环),并围绕内核提供可选的 HTTP API、MCP 客户端与服务器、TUI、多智能体编排、云运行时(Redis/S3)、向量记忆和循环模式等扩展。它支持 OpenAI 兼容接口及 Anthropic 等多种模型后端,内置读写文件、Shell、Web 抓取等工具,工具与文件系统操作被沙箱限制在工作区内,且智能体循环受步数预算约束。可仅嵌入内核,也可作为完整开发工具使用。