AI 资源库 · 已整理 5 项
查看与OpenAI 兼容 API相关的 AI 资讯、工具、Skill、工作流和开源项目。
ggml-org/llama.cpp · LLM inference in C/C++
llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
dnaidionov/living-resume · Recruiter-first AI-native living resume and digital twin
Living Resume 是一个以招聘方为优先的“AI 原生”个人简历站点，也是一个数字孪生项目。站点基于 Next.js 与 TypeScript 构建，内容由仓库管理；它通过语义检索回答关于简历与工作经历的、有依据的问题，并可通过结构化的“View AI Context”说明各项经历是如何实现的。它还支持对粘贴、上传或链接的职位描述进行匹配度评估，并将项目自身的构建过程整理为公开的 AI 原生案例。项目采用与具体 AI 提供商无关、兼容 OpenAI 适配层的路由方式，并将 Cloudflare Pages/Workers 作为部署目标。
yepapa-nest/eke-hive · Engine for two MoE models only - DeepSeek-V4.1-Flash (main) and GLM-5.3-Flash - on one 96 GB GPU, experts offloaded to CPU RAM, 262K context. Pieced together from what we had (DDR4, PCIe 4); DDR5 would do better. Sleeps/wakes in seconds to share the GPU. OpenAI/Anthropic API, works behind LiteLLM.
Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。
mw00/project-maya · Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。