AI 资源库 · 已整理 10 项
查看与本地推理相关的 AI 资讯、工具、Skill、工作流和开源项目。
ggml-org/llama.cpp · LLM inference in C/C++
llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
微软新出了一台叫 Surface Laptop Ultra 的高端笔记本，瞄准的是做创意和开发的人，尤其是想在本地跑 AI 模型的开发者。它用了英伟达的 Blackwell RTX GPU，最高可选 128GB 统一内存，价格比苹果同类产品便宜。作者用它跑了一周本地模型，发现插电时速度很快，比如 Nemotron 3.5 Bolt 能达到每秒 56 到 60 个 token，但拔掉电源后性能大约掉两到三成，风扇也会明显变吵。内存带宽是瓶颈，8 位量化的 27B 稠密模型每秒只有八九个 token，降到 4 位才能到二十五六个。如果你主要插电用，它可以当一台不错的本地 AI 开发机；如果常靠电池跑大模型，续航和噪音需要权衡。
GitHub Copilot 很快会自动决定编程任务是在本地还是云端运行，预计10月底上线。微软说会看任务和缓存状态来选，但没说 Auto 模式会把多少代码库信息传到云端，也没说开发者能不能查看或限制这些决定。本地跑模型需要大内存，目前只针对特定 Windows 设备，选了本地模型也不等于完全离线，因为它仍可能联网。
notagentdev/maxtoken · Serve MoE models bigger than your memory on Apple silicon. MLX engine with elastic SSD-backed expert offload, native MTP speculative decoding, OpenAI/Anthropic-compatible APIs and a built-in web console.
MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。
cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.
这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。
beeracs/Llama · Run Llama models in your web browser using JavaScript and WebAssembly. Explore light and dark modes easily. 🌐🐱👤
Llama 是一个基于 JavaScript 和 WebAssembly 的浏览器端 AI 聊天机器人项目，用户无需安装即可在现代浏览器中打开页面并与 Llama 模型对话。它提供简洁的聊天界面、多种可选角色以及明暗主题，README 说明其使用 HTML/CSS 构建前端，并借助 WebAssembly 提升运行性能。项目以 MIT 许可证开源，鼓励社区贡献，未来计划加入多语言支持、更强的 AI 能力以及移动端适配。
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.
Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。用户提供 state 和一个命名问题映射，服务为每个问题返回一个类型化答案：Choice（选项）、Score（分数）或 Noul（真/假概率）。它在本地以单个 llama.cpp 子进程运行，一次处理一个请求，不采样也不追加 token，适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。