量化推理

在微软 Surface Laptop Ultra 上运行本地 AI 模型：我们的实测发现

微软新出了一台叫 Surface Laptop Ultra 的高端笔记本，瞄准的是做创意和开发的人，尤其是想在本地跑 AI 模型的开发者。它用了英伟达的 Blackwell RTX GPU，最高可选 128GB 统一内存，价格比苹果同类产品便宜。作者用它跑了一周本地模型，发现插电时速度很快，比如 Nemotron 3.5 Bolt 能达到每秒 56 到 60 个 token，但拔掉电源后性能大约掉两到三成，风扇也会明显变吵。内存带宽是瓶颈，8 位量化的 27B 稠密模型每秒只有八九个 token，降到 4 位才能到二十五六个。如果你主要插电用，它可以当一台不错的本地 AI 开发机；如果常靠电池跑大模型，续航和噪音需要权衡。

FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎

hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input

FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。

strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集

lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.

该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。

Project Maya：在本地 GPU 上私有运行 GLM-5.3-Flash 大模型的推理引擎

mw00/project-maya · Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。