LangSmith LLM Gateway:为智能体提供运行时控制
这件事讲了什么
LangChain 推出了 LangSmith LLM Gateway,目前处于公开测试阶段。它解决的是生产环境智能体的一个麻烦:智能体调用模型时可能因重试失控产生高额账单,或遇到模型服务商宕机就报错。这个网关夹在智能体和模型之间,统一执行花费上限、速率限制、模型回退和敏感信息(如个人隐私、密钥)脱敏,不用在每个智能体里各写一遍,也不必绑定某一家供应商。工程师可以在组织、工作区、API 密钥、用户四个层级设限额;敏感信息脱敏功能目前只对 Enterprise 套餐开放。
可以使用的工具
文中可用工具
- LangSmith LLM Gateway居中管理智能体模型调用的花费、限速、回退与脱敏的网关服务,现为公开测试
- LangSmith记录网关事件与调用链路追踪的平台
- Fireworks为开放权重模型提供快速推理,并通过网关提供托管推理
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。