cpu-slm：在 CPU 上运行的 Rust 大语言模型推理与对话工具

ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.

GitHub原文发布未知首次收录 2026-09-26上架 2026-09-26 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。

# Rust # SIMD # 本地 LLM # 推理与部署 # AVX2

核心能力与快速开始

★ 2 · Rust

能做什么: 提供 CPU 上的 SLM/LLM 推理与聊天功能，利用 AVX2 指令集加速处理，强调最小依赖；跨 Windows、Linux、macOS 平台运行，并内置教程与文档等学习资源，帮助用户了解 SLM/LLM 技术原理。仓库主题标签涉及 llama、gemma、mistral、qwen、gguf、量化、LoRA 微调等相关方向。
适用场景: 在无独立 GPU 的普通电脑上本地运行大语言模型进行推理与对话；作为学习 Sparse Language Model 与 Large Language Model 内部机制的入门示例；研究 AVX2、SIMD 等 CPU 侧加速方案对语言模型推理的影响。
项目形态: 可直接使用的工具
部署方式: README 提供下载压缩包并解压运行的安装步骤，说明支持 Windows 10 及以上、多数 Linux 发行版和 macOS；未说明是否提供容器、包管理器或云端部署方式。
主要依赖: README 列出：CPU 需支持 AVX2 指令集，内存最低 4 GB，磁盘空间至少 100 MB；未说明具体模型文件、显存/内存上限或 API 成本。
使用限制: README 未说明支持的具体模型清单、推理速度数据、精度/量化误差、并发能力或许可证商用条款；仓库为 beta 版本（README 文件名含 2.5-beta.2），材料未提及实测验证结果。
许可证: GPL-3.0
最近推送: 2026-09-25 14:36

官方入门核对 README 依据 ↗

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地 CPU 上运行 SLM/LLM 推理与聊天，用于理解稀疏语言模型和大语言模型的工作原理，并借助 AVX2 指令集提升性能。

查看内容依据

cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点

TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。

llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南

该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。