queue

hearth：为本地推理服务器提供队列调度与容量共享的 OpenAI 兼容接入层

Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.

hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。