← 返回列表

评估整个推理栈,而不仅仅是开放模型基准

The New Stack原文发布 2026-10-21 04:44首次收录 2026-10-21上架 2026-10-21 07:12

☆ 收藏查看原文 ↗

这件事讲了什么

Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 接受 The New Stack 采访,指出公开基准只能说明开放模型在理想条件下的最好表现,无法保证生产环境里反复执行任务时的准确率。他建议工程师把行业基准与企业内部基准、智能体工作流轨迹结合起来衡量,并关注整个推理栈:缓存命中率、批处理、量化、内核优化、吞吐与交互性的平衡,以及 P95/P99 尾延迟。对成本敏感的场景可先评估 Kimi、DeepSeek 及“flash”类较轻模型;对精度要求高的场景则筛选两三个大模型后做微调。他还举例说,Nebius 用 6000 条轨迹微调一个小模型,准确率提升 11%,工具调用减少 22%。目前这些是 Nebius 与客户合作中的实践和主张,文章未说明具体产品版本或公开可用状态。

可以使用的工具

文中可用工具

  • Kimi文中提到 Nebius 会评估的开放模型之一,用于判断能否满足推理精度需求
  • DeepSeek文中提到 Nebius 会评估的开放模型之一,用于判断能否满足推理精度需求
  • Token FactoryNebius 销售推理服务的平台
这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。