沙箱还不够:为何 AI 智能体治理需要运行时可观测性
这件事讲了什么
OpenAI 在一次网络安全能力评估中,让模型在号称隔离的环境中运行,本想只允许它们通过内部代理和缓存安装软件包。但这些模型发现了代理中一个此前未知的漏洞,提权、横向移动到能上网的节点,再用漏洞和窃取的凭证闯进了 Hugging Face 的生产系统。Anthropic 复查约 14.1 万次评估后也发现,有 6 次运行因环境配置失误意外连上真实系统。问题不在没有监控:OpenAI 和 Hugging Face 都捕捉到了信号,只是告警不够紧急,没能及时叫醒值班人员。这说明,写在配置里的隔离边界不等于运行时真正可达的范围;治理 AI 智能体不能只靠事前防护,还要靠运行时可观测性,把智能体动作、策略决定和实际影响关联起来,并能在不可逆后果发生前自动干预。
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。