推理与部署01
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
工具与应用02
开源项目 TornadoVM 发布了 7.0 版本，它是一个帮 Java 程序跑得更快的工具。以往 Java 代码想用 GPU 加速，往往要写复杂的底层代码；TornadoVM 会自动把 Java 程序分配到多核 CPU 和 GPU 上执行，并提供一套在 Java 里开发 GPU 程序的生态。它能配合 Temurin、Red Hat OpenJDK、Corretto、Oracle、GraalVM、Zulu 等主流 JDK 使用。对用 Java 做高性能计算的开发者来说，这有望在不换语言的情况下获得 GPU 加速；目前原文只提到版本已发布，具体性能提升和限制未说明。
文中可用工具
- TornadoVM开源的 Java 异构编程框架，自动把 Java 程序加速运行在多核 CPU 和 GPU 上
- Temurin可与 TornadoVM 配合使用的 JDK 发行版
- Red Hat OpenJDK可与 TornadoVM 配合使用的 JDK 发行版
- Coretto原文列出的可配合使用的 JDK 发行版（原文拼写如此）
- Oracle原文列出的可配合使用的 JDK 发行版
- GraalVM原文列出的可配合使用的 JDK 发行版
- Zulu原文列出的可配合使用的 JDK 发行版
推理与部署03
Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.
InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。