行业动态01
Anthropic 宣布让外部评估机构深入公司内部检查其 AI 模型的安全性。此前这类风险审查主要靠公司自己,外界很难核实,但安全相关信息又不能全部公开,因为可能被恶意利用或涉及商业机密。这次 Anthropic 给非营利评估机构 METR 的六名员工办公司设备、工位和内部系统权限,待遇接近自家风险评估团队,METR 可自行发布分析结果;SecureBio、Accenture、Faculty、Hugging Face 等合作则信息更少、发表权更受限,还在早期。Anthropic 还设三档评估权限,向银行监管派驻检查员的思路靠近,同时也说明评估方须独立、可发表、有足够访问权。
文中可用工具
- METR评估前沿 AI 模型风险的非营利机构,获准深度访问 Anthropic 内部系统
- SecureBio评估生物与化学武器相关风险章节,已完成试点审查
- Accenture合作评估、红队测试模型并做对齐评估
- Faculty与 Accenture 共同参与评估与红队合作
- Hugging Face处于早期洽谈阶段,原文未说明具体合作方式
研究与技术02
OpenAI 公布了一批数学开放问题的新结果,这些问题是由其内部的前沿模型解决的。所谓“开放问题”,就是数学界长期没有找到答案的难题;“前沿模型”指能力最强、尚未对外公开的模型。为了让结果可验证,OpenAI 把用 Lean 写出的证明形式化代码以及研究细节放到了 GitHub 上,Lean 是一种能逐步检查数学证明是否成立的工具。对读者来说,这些结果和代码可供查看和复核,说明 AI 在数学证明上又向前走了一步。
文中可用工具
- Lean一种用于把数学证明写成计算机可逐步检查的形式化语言的工具
行业动态03
有人开始为“前沿 AI 训练”这个高风险环节制定安全说明文档的早期指南,用来回答“我们凭什么相信这次训练是安全的”。指南覆盖三块:技术上的防护措施、日常操作规范,以及一旦发现模型行为偏离人类意图时如何调查。目前只是早期指南,不是强制标准或正式法规,读者可以把它当成一种检查清单的思路参考。
行业动态04
Airbnb 正在让更多工程团队用上 GPT-6 Astra 和 OpenAI 的前沿模型。原来这些模型可能只有少数人或特定团队能用,现在访问范围放宽了。目的是帮工程师更快排查 bug、设计系统、加快上线。对读者来说,这意味着如果 Airbnb 的工程团队拿到权限,就能在日常开发中借助这些模型提效;但材料没有说明具体开放给谁、怎么用、何时全面可用。
文中可用工具
- GPT-6 AstraOpenAI 的前沿模型,用于帮助工程团队排查缺陷、设计系统并加快交付
- OpenAI frontier modelsOpenAI 的前沿模型系列,用于辅助工程开发工作
行业动态05
OpenAI 发布了一篇文章,谈的是怎么对最前沿的 AI 模型做第三方安全评估。以前这类评估往往缺少独立、严格又安全的统一做法。这次 OpenAI 提出了自己的优先事项和原则,想给独立评估机构一个更清晰的框架和标准。对读者来说,这能帮你了解未来前沿模型的安全检查可能会按什么思路来做,但具体怎么落地、什么时候开始,原文没有说明。