DeepSeek 开源其 API 背后的推理引擎，华为与英伟达并列获支持
这件事讲了什么
DeepSeek 把自己在线上服务模型时使用的推理引擎开源了，取名 DeepInfer，采用 Apache 2.0 许可。此前它曾表示这套软件与自家集群管理工具等内部设施绑得太紧，公开部署需要大改，并不实际。现在开放的版本能让开发者在自己的机器上运行 DeepSeek-V4.1-Flash，包含投机解码、异步调度、结构化输出等优化，但缺少 KV 缓存管理、跨机分工和副本负载均衡等组件，只覆盖离线推理，完整生产服务仍需自行补齐外围设施。配套的 deepseek-recipe 库（Rust 和 Python 版）帮助复现官方 API 的输入输出处理。硬件上首批支持英伟达 SM100（Blackwell 数据中心 GPU）和华为昇腾 950 NPU，较旧的 Hopper 架构未列入。DeepSeek 未说明如何解决去年提到的维护与部署难题。
可以使用的工具
文中可用工具
- DeepInferDeepSeek 开源的推理引擎，用于在自己的服务器上高效运行其模型
- deepseek-recipe配套库，处理 API 请求到模型输入的转换及输出加工，提供 Rust 和 Python 版本
- DeepSeek-V4.1-FlashDeepInfer 当前支持运行的 DeepSeek 模型
- FlashMLADeepInfer 包含的优化计算内核之一
- DeepGEMMDeepInfer 包含的优化计算内核之一
- DeepEPDeepInfer 包含的通信库之一
- vLLM第三方推理软件，此前开发者用它运行 DeepSeek 模型权重
- Search APIDeepSeek 向开发者开放的网页搜索接口，原文未说明具体用法
- Fetch APIDeepSeek 向开发者开放的抓取接口，原文未说明具体用法
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。