AI 资源库 · 已整理 3 项
查看与model-serving相关的 AI 资讯、工具、Skill、工作流和开源项目。
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
FuturixAI-and-Quantum-Works/carve-jev · Open-source Jev-like model family with one-token Qwen3.8 decisions, TypeSafe API, one-command setup, and reproducible benchmarks.
CARVE（Candidate-Aligned Readout via Vocabulary Evidence）是一个 Apache-2.0 开源模型家族，基于 Qwen3.8-27B，通过只对用户自定义选项对应的候选字母 token 进行打分，实现单输出 token 的 Noul、Choice、Score 类型化决策，无需生成自由文本 JSON 再解析。项目提供 TypeSafe 兼容的 System One API、一键启动脚本和可复现基准，发布 CARVE-ZS、CARVE-AS、CARVE-FS2 等多个服务配置，在 Decision 1.0 transfer-v9 上报告 82.22% 的最高准确率。README 说明其返回的为原始受限候选 token 概率，并非校准后的正确性置信度。