AI 资源库 · 已整理 9 项
查看与推理优化相关的 AI 资讯、工具、Skill、工作流和开源项目。
Nebius 的 AI 训练团队在 Terminal-Bench 类负载上做了一次实验：把一次 256 条轨迹的批次收集时间减少了 66.9%。原来在智能体强化学习训练中，模型要先完成任务、拿到结果才能学习，但任务长短不一，慢的几条会让整批训练卡住，昂贵的 GPU 常常在等便宜的沙箱和代码执行。做法是把推理引擎当成训练优化器的一部分：按整组完成而不是启动顺序来组批，让生成和训练部分重叠、缓存对话历史避免重复预填，并把基础设施故障和模型自身失败分开计分。这只是一个实验中的批次收集测量，不含训练器本身的前向反向计算，不等于完整训练提速。对读者来说，这提供了一个思路：智能体训练慢，瓶颈往往不在 GPU 算力，而在任务执行和调度这些配套环节。
Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 接受 The New Stack 采访，指出公开基准只能说明开放模型在理想条件下的最好表现，无法保证生产环境里反复执行任务时的准确率。他建议工程师把行业基准与企业内部基准、智能体工作流轨迹结合起来衡量，并关注整个推理栈：缓存命中率、批处理、量化、内核优化、吞吐与交互性的平衡，以及 P95/P99 尾延迟。对成本敏感的场景可先评估 Kimi、DeepSeek 及“flash”类较轻模型；对精度要求高的场景则筛选两三个大模型后做微调。他还举例说，Nebius 用 6000 条轨迹微调一个小模型，准确率提升 11%，工具调用减少 22%。目前这些是 Nebius 与客户合作中的实践和主张，文章未说明具体产品版本或公开可用状态。
Intel 的研究人员开发了一种叫 BITCOS 的新格式，专门用来存储三值模型的权重。三值模型的权重只有 -1、0、+1 三种，理论上最少要 1.58 位来存一个权重，传统打包方式实际要 1.625 位。BITCOS 把权重分成两个流：先用一个 bit 记录每个权重是不是零，再给非零权重单独记正负号。因为真实模型里有大量零（29.7% 到 51.5%），零就省下了符号位，存储成本能降到平均 1.485 位。这种方法只改存储、不改模型本身，解包后恢复原来的权重，精度不受影响。在 CPU 和 GPU 上，解码速度最多快了 18% 和 27%。不过这套方案还没经过同行评审，只在 Intel 自家硬件上测试过。
Pinterest Engineering 对其 Manas 搜索平台进行升级，以管理海量数据并提升搜索与发现效率。通过应用标量量化和乘积量化，内存占用显著降低，同时保持高召回率。该平台利用 SSD 优化性能，并正转向多向量模型以实现更精细的相关性匹配。作者：Olimpiu Pop
Google 与 OpenAI 在五天内先后推出语音智能体方案：Gemini 3.8 Live Extended Thinking 将语音、推理与工具执行放在同一状态化会话中，支持 NON_BLOCKING 函数调用；GPT-Live-1 则让语音模型负责全双工对话，后台推理模型独立处理复杂任务，代价是编排负担落到应用层。两者都面临用户打断导致后台任务失效的问题，且计费方式与基准测试口径不同，无法直接横向比较。
lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。
JustVugg/colibri · Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。它支持 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等模型家族，提供 chat / serve / web 前端，并包含专家多级驻留、双 SSD 条带、批合并读取、路由预取与本地集群模式等系统级优化，同时定位为可修改、可测量的开源推理研究平台。
ai-dynamo/dynamo · A Datacenter Scale Distributed Inference Serving Framework
Dynamo 是构建在 SGLang、TensorRT-LLM、vLLM 等推理引擎之上的开源数据中心级推理编排层，将这些引擎组织为多节点协调推理系统。它提供分离式预填充/解码服务、KV 感知路由、多级 KV 缓存卸载、SLA 驱动的自动扩缩容、模型权重流式加载与请求迁移容错等能力，面向 LLM、推理、多模态与视频生成等工作负载。项目以 Rust 实现核心性能、Python 提供扩展性，支持容器、PyPI 与 Kubernetes（含 Gateway API 推理扩展）等多种部署方式，并附带内置 recipes 与示例。
Chip Huyen 在 P99 大会上分享降低 LLM 推理成本的思路，将优化分为模型优化与服务优化两大类：前者通过量化和蒸馏改变模型权重，后者通过批处理、调度与请求复用提升推理服务效率，并提醒蒸馏需注意模型许可限制。