Agent 与工作流01
这篇文章讲的是一个常见现象:AI Agent(智能体,能自己调工具、做决策的程序)在演示环境里表现完美,一放到真实公司环境就出问题。原因是演示时信息少且干净,而真实世界里数据来自多个系统、每天甚至每小时都在变,权限管理也复杂,Agent 往往处理不了这些。作者认为光靠向量搜索或 RAG(检索增强生成,即先查资料再回答)不够,Agent 还需要“业务上下文”——知道客户在不同系统里是不是同一个人、查到的信息是不是最新的、以及为什么要做某个决定。文章还提到 Arango 公司 COO Ravi Marwaha 将在 10 月 14 日的线上讲座中分享把 Agent 从演示推向生产所需的六项数据要求。目前该讲座尚未举行,文中未说明具体的六项要求细节。
模型进展02
Cohere 周三发布了 Embed 5 系列模型,让团队可以用 Embed 5 Pro 来给数据建向量索引,同时用更快更便宜的 Embed 5 Fast 来查询同一批向量,不用再建第二个索引。以前如果既要低成本又要高质量,往往得维护两套数据表示,现在两个模型共享同一个向量空间,可以直接混用,不需要重新嵌入。Cohere 自己的测试显示,用 Pro 建索引、Fast 查询,检索质量相当于 Pro 对 Pro 的 98.4%,差别很小;Fast 的吞吐量平均是 Pro 的 2.4 倍,价格从每百万 token 0.12 美元降到 0.08 美元。两个模型都支持 256 到 2048 维向量以及 float32、int8、binary 格式,能处理文本、图像和图文融合输入,覆盖 100 多种语言。Embed 5 Pro 和 Fast 已通过 Cohere API、Model Vault、Microsoft Foundry 和 Amazon SageMaker 开放,也支持 vLLM 私有部署;但生产环境仍建议在自己的数据上重新评测,因为检索错误可能在多步 Agent 流程中被放大。
文中可用工具
- Embed 5 Pro用于给数据建向量索引,检索质量更高,价格也更高
- Embed 5 Fast用于查询同一批向量,速度更快、价格更低,检索质量略低
- Cohere API通过接口调用 Embed 5 模型
- Model VaultCohere 提供的模型托管服务,可用于访问 Embed 5
- Microsoft Foundry微软的 AI 平台,可用于访问 Embed 5
- Amazon SageMaker亚马逊的机器学习平台,可用于访问 Embed 5
- vLLM支持私有 VPC 和本地部署 Embed 5