Cohere 发布更快的查询模型 Embed 5,测试显示检索质量几乎无损失
这件事讲了什么
Cohere 周三发布了 Embed 5 系列模型,让团队可以用 Embed 5 Pro 来给数据建向量索引,同时用更快更便宜的 Embed 5 Fast 来查询同一批向量,不用再建第二个索引。以前如果既要低成本又要高质量,往往得维护两套数据表示,现在两个模型共享同一个向量空间,可以直接混用,不需要重新嵌入。Cohere 自己的测试显示,用 Pro 建索引、Fast 查询,检索质量相当于 Pro 对 Pro 的 98.4%,差别很小;Fast 的吞吐量平均是 Pro 的 2.4 倍,价格从每百万 token 0.12 美元降到 0.08 美元。两个模型都支持 256 到 2048 维向量以及 float32、int8、binary 格式,能处理文本、图像和图文融合输入,覆盖 100 多种语言。Embed 5 Pro 和 Fast 已通过 Cohere API、Model Vault、Microsoft Foundry 和 Amazon SageMaker 开放,也支持 vLLM 私有部署;但生产环境仍建议在自己的数据上重新评测,因为检索错误可能在多步 Agent 流程中被放大。
可以使用的工具
文中可用工具
- Embed 5 Pro用于给数据建向量索引,检索质量更高,价格也更高
- Embed 5 Fast用于查询同一批向量,速度更快、价格更低,检索质量略低
- Cohere API通过接口调用 Embed 5 模型
- Model VaultCohere 提供的模型托管服务,可用于访问 Embed 5
- Microsoft Foundry微软的 AI 平台,可用于访问 Embed 5
- Amazon SageMaker亚马逊的机器学习平台,可用于访问 Embed 5
- vLLM支持私有 VPC 和本地部署 Embed 5
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。