cpu-slm:在 CPU 上运行的 Rust 大语言模型推理与对话工具
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目,目标是在 CPU 上完成高效推理与聊天交互,并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能,支持 Windows、Linux 和 macOS,附带入门安装步骤与学习资料,定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
评论 · 分享第一个看法