推理与部署AI 资源

fLLM：纯 Rust 实现的本地 LLM 推理引擎，支持 GGUF 与多种兼容 API

Marco-Lu2508/fLLM · Local LLM inference engine in pure Rust: GGUF, OpenAI/Anthropic/Ollama-compatible API, CUDA (incl. NVFP4), Metal, Vulkan, CPU

GitHub原文发布未知首次收录 2026-10-20上架 2026-11-05 07:07

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

fLLM 是用 Rust 编写的本地大模型推理引擎，可直接加载 GGUF 文件，也能把 Hugging Face 的 safetensors、PyTorch、AWQ、GPTQ、FP8、NVFP4 等检查点自动转换为 GGUF，并提供量化、LoRA 合并与 GGUF 分片工具。它在一个端口上同时提供 OpenAI、Anthropic、Ollama、SGLang/TGI、llama.cpp 风格的 HTTP API，以及终端聊天和内置网页聊天；支持工具调用、结构化输出、推理内容拆分、连续批处理、前缀缓存和投机解码。后端覆盖 CPU、CUDA、wgpu（Vulkan/Metal/DX12），可选 ROCm/HIP、SYCL 等；项目自述为较年轻，许多真实模型与 GPU 组合尚未完整验证，且不支持音频、图像生成、微调运行时切换 LoRA 等能力。

# Rust # 量化 # 本地推理 # gguf # OpenAI API

核心能力与快速开始

★ 0 · Rust

能做什么: 加载 GGUF 全系列量化类型；自动转换 Hugging Face 检查点（safetensors、PyTorch、AWQ/GPTQ 4-bit、FP8、NVFP4、MXFP4、EXL2/EXL3 导入等）为 GGUF 并缓存；提供量化、LoRA 合并、GGUF 元数据与分片工具；单进程单模型服务，支持 OpenAI、Anthropic、Ollama、SGLang/TGI、llama.cpp 风格的 HTTP API，以及嵌入、重排、分类接口；终端聊天与内置 Web 聊天；流式输出、工具调用解析、推理内容拆分、JSON Schema/GBNF/Lark/正则结构化输出、logprobs 与多种采样控制；连续批处理、分块预填充、前缀缓存、投机解码；分页 KV cache 多种精度格式。
适用场景: 在本地或自托管环境部署 GGUF 模型并提供 OpenAI/Anthropic/Ollama 兼容接口；把 Hugging Face 上的量化检查点转换为 GGUF 后统一推理；对模型进行量化与 GGUF 文件管理；为需要嵌入、重排、分类的应用提供 HTTP 服务；在终端快速试用和基准测试本地模型。
项目形态: 可直接使用的工具
部署方式: 提供 Linux x86_64/aarch64 与 macOS aarch64/x86_64 预发布二进制；提供 ghcr.io 的 CPU 与 CUDA Docker 镜像；Windows 暂无发布产物，需用 cargo 从源码构建；也可从源码构建（Rust stable、C 编译器、Git，CUDA 构建需 CUDA toolkit）。
主要依赖: Rust stable、C 编译器、Git；CUDA 构建需 CUDA toolkit，CUDA Docker 镜像需 NVIDIA 驱动及 Linux 上的 NVIDIA Container Toolkit；CPU 需 x86-64 或 AArch64；模型权重与显存需求依模型规模而定，材料未给出具体门槛。
使用限制: 项目自述较年轻；多数真实多 GB 检查点及转换后文件的 GPU 运行未经测试，部分架构（如 Gemma 4、Gemma 3n、Jamba、Falcon-H1、DeepSeek V3.2/V4）不支持；单进程仅用单设备，不支持多 GPU 拆分单模型；不支持音频、图像生成、实时、审核、Assistants、微调及运行时切换 LoRA；无 IQ/TQ/FP4 量化写出；wgpu 仅保留 f16 与 q8_0 KV cache；提供方未说明 API 成本、商业使用与硬件最低要求等条件。
许可证: Apache-2.0
最近推送: 2026-10-20 02:57

官方入门核对 README 依据 ↗

资料检查：2026-10-20 07:00 · 卡片整理：2026-11-05 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

LlamaForge：面向 llama.cpp 的浏览器端本地大模型控制面板

LlamaForge 是一个开源控制面板，它不自带模型，通过驱动官方 llama.cpp 的 llama-server 路由并编辑 models.ini，在浏览器中管理本地 GGUF 模型的下载、加载、参数配置与对话。提供按显存评估模型能否装下、查看并调整全部 llama-server 参数、一键更新 llama.cpp、多模型并行、盲测竞技场、本地 TTS、定时追踪型本地 Agent、Hugging Face GGUF 发现与下载，以及 OpenAI/Anthropic 兼容 API 与 MCP 接入。项目为早期预览，Windows + NVIDIA 为测试较多的路径，Linux 和 macOS 实机使用较少。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

Quixotic AI：面向 JVM 的本地 AI 开源全栈

Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。