研究与技术01
GitHub 改进了它用来扫描代码里密钥、密码等敏感信息的检测方式。以前用大型语言模型来判断,误报多、速度慢、成本高,因为很多看起来像密钥的字符串其实是测试用占位符或校验码。现在 GitHub 换成两段式流程:先用规则快速找出所有可疑字符串,再用一个专门训练的小模型 ModernBERT 结合文件路径、变量名和周围代码判断它是不是真的密钥。结果是用户接受警报的比例提高了 11.5%,扫描中位耗时降低 86%,服务器成本降低 98% 以上,并且这套方法已经用在提交前的拦截保护里。
文中可用工具
- ModernBERT一个经过微调的小型分类模型,负责判断可疑字符串结合上下文后是不是真正的密钥
Agent 与工作流02
LangChain 把 ScaleDown 的专用小模型接进了 Deep Agents 和 LangChain 智能体框架里。原来长时间运行的智能体上下文会越堆越满,而用通用大模型去摘要历史、压缩工具结果又慢又贵。现在换成专门做单一任务的 ScaleDown 模型(摘要、压缩、抽取、分类),官方称这些窄任务上比前沿模型快 200 倍、便宜 467 倍,单次最多能读 100 万 token,还能直接处理图片和扫描 PDF。做智能体的开发者可以借此降低每次决策的成本和延迟,也可通过 LangSmith LLM Gateway 追踪调用和用量。
文中可用工具
- ScaleDown一组专做摘要、压缩、抽取、分类等单一任务的模型,用来更快更便宜地管理智能体上下文
- Deep Agents用于构建长时间运行智能体的框架,可挂载摘要与工具结果压缩中间件
- LangChain搭建智能体的开发框架,支持 create_agent 并接入 ScaleDown 中间件
- langchain-scaledown把 ScaleDown 模型接入 LangChain 与 Deep Agents 的集成包,自带三种中间件
- ScaledownSummarizationMiddleware替换 Deep Agents 自带的摘要中间件,用 ScaleDown 生成历史摘要
- ScaledownToolCompressionMiddleware在工具结果进入模型前,只保留与查询相关的部分
- LangSmith LLM Gateway已支持 ScaleDown,可追踪调用并计入消费和速率限制
- Jev文中用来对比的决策模型,只接受文本、每题最多 32K token 状态