AI 资源库 · 已整理 5 项
查看与GPU相关的 AI 资讯、工具、Skill、工作流和开源项目。
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。
api-evangelist/simplismart · Simplismart — independent third-party profile of a public API surface, by API Evangelist. Simplismart is an AI inference and model-deployment platform that lets teams run, fine-tune, and self-host generative AI models on optimized GPU infrastructure. It offers OpenAI-compatible LLM chat inference (Llama, Qwen, Gemma, Mixtral, DeepSeek), Whisper spe
该仓库是 API Evangelist 维护的第三方公开资料档案，并非 Simplismart 官方 API 或软件。材料显示 Simplismart 是一个 AI 推理与模型部署平台，支持在优化过的 GPU 基础设施上运行、微调与自托管生成式 AI 模型，提供兼容 OpenAI 的 LLM 对话推理（Llama、Qwen、Gemma、Mixtral、DeepSeek）以及 Whisper 语音转文字等能力。仓库本身只包含文本与机器可读的 API 描述，没有可构建、发布或安装的软件。由于该档案尚处于待补充（stub）状态，关于部署条件、硬件要求、API 费用与限制等信息均未说明。
本周 Kubernetes 生态有不少进展。KubeCon 北美 2026 新增了“AI 推理与智能体”专题，说明越来越多团队把训练好的模型放到生产环境用 Kubernetes 提供服务。招商银行用 Kubernetes 加 Kueue、KEDA、HAMi、Fluid 等开源项目，把近一万张异构加速卡中 99% 的 AI 算力统一管理，平均利用率从 35% 提升到 60% 以上，处理一百万 token 的成本降低 60%。不过 WEKA 首席 AI 官提出质疑：Kubernetes 原本的资源模型管不了请求组合、KV 缓存占用、预填充与解码比例这些决定 token 成本的状态，若不加改进，可能反而成为推理经济的负担。
Kokotpica/surogate · 🚀 Accelerate large language model training and fine-tuning with Surogate’s high-performance, mixed-precision framework in C++ and Python.
surogate 是一个用于在 NVIDIA GPU 上快速进行大语言模型训练与微调的应用，采用 C++ 与 Python 的高性能混合精度框架，支持 Llama、Qwen 等多种模型，并提供参数设置与一键训练的图形化使用流程。
jax-ml/jax · Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more
JAX 是一个 Python 库，用于面向加速器的数组计算与程序变换，面向高性能数值计算和大规模机器学习。它可以自动微分原生 Python 与 NumPy 函数，支持循环、分支、递归和闭包中的微分以及任意阶导数，并提供反向模式与正向模式微分。JAX 借助 XLA 将 NumPy 程序编译并扩展到 TPU、GPU 及其他硬件加速器，支持用 jax.jit 编译纯函数，编译与自动微分可任意组合。此外，JAX 提供 jax.vmap 自动向量化，并支持编译器自动并行、显式分片与手动单设备编程等扩展方式。该 README 说明这是一个研究项目，而非 Google 官方产品，使用时应预期一些需要注意的边界问题。