推理与部署AI 资源
oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
ELI5：它是什么，解决什么问题
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
核心能力与快速开始
★ 0 · Rust
- 能做什么
- 纯 Rust 实现的 LLM、扩散模型与嵌入推理引擎：直接读取 HuggingFace / MLX 4-bit safetensors 权重，自行实现 matmul、注意力、归一化、RoPE、采样等算子，并提供 NEON、AVX2、wasm simd128 SIMD 内核与自有线程池。支持 Gemma 4（文本/图像/视频/音频）、Gemma 3、Qwen 3.5/3.6/3.8 及 MoE 变体、JEV 决策模型（带 LoRA，支持文本与图像决策）、sentence-transformers 嵌入模型（含 BGE-M3 稀疏/ColBERT、NomicBERT、ModernBERT、MPNet）、Stable Diffusion / SD-Turbo 文生图、Janus-Pro 文生图与图像理解、Whisper 语音转文字、Orpheus 文字转语音。运行时检测 Metal、CUDA、WebGPU 用于 prefill 加速，CPU 路径始终可用；支持工具调用、MTP 投机解码、量化保存与从存储流式加载超出内存的权重。
- 适用场景
- 在无 GPU 的笔记本、手机、浏览器标签页或服务器上进行本地模型推理；在浏览器中通过 WebGPU 运行小尺寸 Qwen 模型；对文本、图像、视频、音频等多模态输入做生成或理解；用 sentence-transformers 兼容模型做文本嵌入、相似度计算与检索；本地生成图像（Stable Diffusion）或进行语音转写与合成；需要工具调用能力的本地对话场景；在内存不足以容纳完整权重时以流式加载方式运行大模型；对 JEV 类模型做带校准概率的类型化决策。
- 项目形态
- 开发框架
- 部署方式
- 未说明；README 提供浏览器在线试用与命令行示例，但未给出完整部署步骤或硬件配置要求。
- 主要依赖
- 未说明；README 提到 CPU 路径可在手机、浏览器、无 GPU 笔记本与服务器运行，GPU 加速需运行时具备 Metal、CUDA 或 WebGPU 环境，但未列出具体内存、存储或系统要求。
- 使用限制
- 项目处于 0.0.x 早期阶段，API 与文件格式可能变化；部分模型标明未测试（如 Gemma 4 12B/31B），Qwen3.5 MoE 的 MLX 量化专家尚未支持读取，Qwen2 系嵌入模型暂不支持；长文本下 BGE-M3 ColBERT 向量有单 token 余弦相似度下降的已知偏差；浏览器内 run_javascript 工具是加固措施而非安全边界；未说明许可之外的商用条件、API 成本或硬件限制。
- 许可证
- MIT
- 最近推送
- 2026-10-26 03:38
资料检查：2026-10-26 07:00 · 卡片整理：2026-10-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。