推理与部署工具
TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎
lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.
ELI5：它是什么，解决什么问题
TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。
核心能力与快速开始
★ 2132 · Python
- 能做什么
- 提供 LLM 推理引擎，包含三大核心组件：Scheduler（C++ 控制面 + Python 执行面，以有限状态机编码请求生命周期、KV 缓存归属与重叠时序，并在编译期通过类型系统保证 KV 资源安全复用）、Kernels（可插拔分层内核系统，具备可移植公共 API 与集中注册表，文档称包含面向智能体工作负载的较快 MLA 实现之一）、Entrypoint（SMG 集成的 AsyncLLM，用于低开销的 CPU 侧请求处理）。README 还列出多个模型在 Day 0 的适配记录（如 Qwen3.8、Kimi K3、GLM 5.3 Flash、TML Inkling），以及与 TensorRT-LLM 的性能对比曲线。
- 适用场景
- 适用于生产环境中面向智能体工作负载的大模型推理与服务部署，例如以低 CPU 开销处理大量请求、在 Blackwell（B200/B300/GB200/GB300）等加速卡上运行 MLA 类模型、通过模型配方与服务器参数配置启动推理服务，以及按并行化配置扩展推理吞吐。
- 项目形态
- 可直接使用的工具
- 部署方式
- 支持自行部署推理服务：文档提供 Getting Started、Launching a Server、Server Parameters、Parallelism 等指南。具体部署条件（如容器、集群编排方式）未说明。
- 主要依赖
- 未说明。README 提及 NVIDIA、AMD 等硬件厂商支持，以及 Blackwell 平台与 MI355X/MI455X 等加速卡相关主题标签，但未给出明确的最低硬件、显存或驱动要求。
- 使用限制
- 未说明。性能数据来自项目方公布的博客与对比图，未提供独立的第三方验证信息；API 成本与许可范围（除仓库标注 MIT 外）未说明。
- 许可证
- MIT
- 最近推送
- 2026-09-16 07:00
资料检查：2026-09-16 07:00 · 卡片整理：2026-09-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
作为开源 LLM 推理引擎，程序员可将其用于部署和运行大语言模型推理服务，支持智能体工作负载；其控制面用 C++ 实现为有限状态机、执行面用 Python 实现，便于工程师迭代和集成。
查看内容依据
TokenSpeed is a speed-of-light LLM inference engine designed for **agentic workloads**, with TensorRT-LLM-level performance and vLLM-level usability.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。