llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

ggml-org/llama.cpp · LLM inference in C/C++

GitHub原文发布未知首次收录 2026-10-28上架 2026-10-30 07:05

ELI5：它是什么，解决什么问题

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

# 量化 # C++# 本地推理 # OpenAI 兼容 API # ggml

核心能力与快速开始

★ 132561 · C++

能做什么: 提供纯 C/C++ 的 LLM/VLM 推理实现，基于 ggml；支持 Apple Silicon、x86 AVX/AVX2/AVX512/AMX、RISC-V，以及 BLAS、CUDA、HIP、MUSA、Metal、Vulkan、SYCL、CANN、OpenCL、WebGPU 等多种后端；支持 1.5 至 8 位整数量化以降低内存占用并提升速度；支持 CPU+GPU 混合推理，可部分加速超出显存容量的模型；提供 llama cli 命令行、llama serve 的 OpenAI 兼容 API 服务与内置 Web UI，并支持从 Hugging Face 直接下载并运行 GGUF 模型。
适用场景: 适合在本地或云端多种硬件上部署和运行 LLM/VLM 推理；适合以量化模型降低内存占用；适合通过 OpenAI 兼容 API 为应用提供模型服务；适合在 CPU、Apple Silicon、NVIDIA/AMD/摩尔线程 GPU、Intel GPU/NPU 等环境进行推理；也适合用 Docker、预编译二进制或源码构建方式安装使用。
项目形态: 可直接使用的工具
部署方式: 未说明；README 提供安装脚本、llama.app 指引、Docker 文档、预编译二进制和源码构建指南，但未给出具体部署配置与资源要求。
主要依赖: 未说明；README 提到依赖极少的纯 C/C++ 实现，并列出多种可选硬件后端，但未提供最低硬件、内存或显存要求。
使用限制: 未说明；README 未列出模型适用范围、性能上限、API 成本或商用限制。
许可证: MIT
最近推送: 2026-10-28 06:36

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-28 07:00 · 卡片整理：2026-10-30 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在本地或云端多种硬件上运行 LLM/VLM 推理，使用 llama cli 命令行工具进行模型推理，或通过 llama serve 启动兼容 OpenAI 接口的 API 服务供应用调用；支持整数量化与 CPU+GPU 混合推理以降低内存占用。

查看内容依据

提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

Quixotic AI：面向 JVM 的本地 AI 开源全栈

Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

Living Resume：面向招聘方、基于简历内容的 AI 问答与岗位匹配评估数字孪生

Living Resume 是一个以招聘方为优先的“AI 原生”个人简历站点，也是一个数字孪生项目。站点基于 Next.js 与 TypeScript 构建，内容由仓库管理；它通过语义检索回答关于简历与工作经历的、有依据的问题，并可通过结构化的“View AI Context”说明各项经历是如何实现的。它还支持对粘贴、上传或链接的职位描述进行匹配度评估，并将项目自身的构建过程整理为公开的 AI 原生案例。项目采用与具体 AI 提供商无关、兼容 OpenAI 适配层的路由方式，并将 Cloudflare Pages/Workers 作为部署目标。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。