评估整个推理栈,而不仅仅是开放模型基准
这件事讲了什么
Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 接受 The New Stack 采访,指出公开基准只能说明开放模型在理想条件下的最好表现,无法保证生产环境里反复执行任务时的准确率。他建议工程师把行业基准与企业内部基准、智能体工作流轨迹结合起来衡量,并关注整个推理栈:缓存命中率、批处理、量化、内核优化、吞吐与交互性的平衡,以及 P95/P99 尾延迟。对成本敏感的场景可先评估 Kimi、DeepSeek 及“flash”类较轻模型;对精度要求高的场景则筛选两三个大模型后做微调。他还举例说,Nebius 用 6000 条轨迹微调一个小模型,准确率提升 11%,工具调用减少 22%。目前这些是 Nebius 与客户合作中的实践和主张,文章未说明具体产品版本或公开可用状态。
可以使用的工具
文中可用工具
- Kimi文中提到 Nebius 会评估的开放模型之一,用于判断能否满足推理精度需求
- DeepSeek文中提到 Nebius 会评估的开放模型之一,用于判断能否满足推理精度需求
- Token FactoryNebius 销售推理服务的平台
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。