Anthropic 发布独立评估方合作进展
Anthropic 宣布让外部评估机构深入公司内部检查其 AI 模型的安全性。此前这类风险审查主要靠公司自己,外界很难核实,但安全相关信息又不能全部公开,因为可能被恶意利用或涉及商业机密。这次 Anthropic 给非营利评估机构 METR 的六名员工办公司设备、工位和内部系统权限,待遇接近自家风险评估团队,METR 可自行发布分析结果;SecureBio、Accenture、Faculty、Hugging Face 等合作则信息更少、发表权更受限,还在早期。Anthropic 还设三档评估权限,向银行监管派驻检查员的思路靠近,同时也说明评估方须独立、可发表、有足够访问权。
文中可用工具
- METR评估前沿 AI 模型风险的非营利机构,获准深度访问 Anthropic 内部系统
- SecureBio评估生物与化学武器相关风险章节,已完成试点审查
- Accenture合作评估、红队测试模型并做对齐评估
- Faculty与 Accenture 共同参与评估与红队合作
- Hugging Face处于早期洽谈阶段,原文未说明具体合作方式
评论 · 分享第一个看法