Nebius

评估整个推理栈，而不仅仅是开放模型基准

Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 接受 The New Stack 采访，指出公开基准只能说明开放模型在理想条件下的最好表现，无法保证生产环境里反复执行任务时的准确率。他建议工程师把行业基准与企业内部基准、智能体工作流轨迹结合起来衡量，并关注整个推理栈：缓存命中率、批处理、量化、内核优化、吞吐与交互性的平衡，以及 P95/P99 尾延迟。对成本敏感的场景可先评估 Kimi、DeepSeek 及“flash”类较轻模型；对精度要求高的场景则筛选两三个大模型后做微调。他还举例说，Nebius 用 6000 条轨迹微调一个小模型，准确率提升 11%，工具调用减少 22%。目前这些是 Nebius 与客户合作中的实践和主张，文章未说明具体产品版本或公开可用状态。