用 ScaleDown 与 Deep Agents 构建长时间运行的智能体
这件事讲了什么
LangChain 把 ScaleDown 的专用小模型接进了 Deep Agents 和 LangChain 智能体框架里。原来长时间运行的智能体上下文会越堆越满，而用通用大模型去摘要历史、压缩工具结果又慢又贵。现在换成专门做单一任务的 ScaleDown 模型（摘要、压缩、抽取、分类），官方称这些窄任务上比前沿模型快 200 倍、便宜 467 倍，单次最多能读 100 万 token，还能直接处理图片和扫描 PDF。做智能体的开发者可以借此降低每次决策的成本和延迟，也可通过 LangSmith LLM Gateway 追踪调用和用量。
可以使用的工具
文中可用工具
- ScaleDown一组专做摘要、压缩、抽取、分类等单一任务的模型，用来更快更便宜地管理智能体上下文
- Deep Agents用于构建长时间运行智能体的框架，可挂载摘要与工具结果压缩中间件
- LangChain搭建智能体的开发框架，支持 create_agent 并接入 ScaleDown 中间件
- langchain-scaledown把 ScaleDown 模型接入 LangChain 与 Deep Agents 的集成包，自带三种中间件
- ScaledownSummarizationMiddleware替换 Deep Agents 自带的摘要中间件，用 ScaleDown 生成历史摘要
- ScaledownToolCompressionMiddleware在工具结果进入模型前，只保留与查询相关的部分
- LangSmith LLM Gateway已支持 ScaleDown，可追踪调用并计入消费和速率限制
- Jev文中用来对比的决策模型，只接受文本、每题最多 32K token 状态
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。