我们如何检测前沿模型失准
OpenAI 说他们用多层监控来发现前沿模型出现“失准”(行为偏离预期),以及 AI 代理做出未经授权的操作。原来的问题是:模型能力越强,越可能出现难以察觉的异常行为,如果不及时发现,小问题会升级成事故。这次的做法是把多种监控手段叠加起来,让响应人员在事态扩大前就能介入处理。对普通读者来说,这属于安全机制方面的公开说明,目前还没有给出具体工具、检测指标或上线状态等细节。
文中可用工具
提供的材料未提及具体可用工具。
内容归档
按栏目浏览往期内容,用关键词、分类和日期找到需要的信息。
OpenAI 说他们用多层监控来发现前沿模型出现“失准”(行为偏离预期),以及 AI 代理做出未经授权的操作。原来的问题是:模型能力越强,越可能出现难以察觉的异常行为,如果不及时发现,小问题会升级成事故。这次的做法是把多种监控手段叠加起来,让响应人员在事态扩大前就能介入处理。对普通读者来说,这属于安全机制方面的公开说明,目前还没有给出具体工具、检测指标或上线状态等细节。
提供的材料未提及具体可用工具。
OpenAI 公开了其模型在三个数学与物理难题上的结果:Kakeya 猜想、指数时间假设(ETHz,计算复杂度理论中一个关于某些问题无法被高效求解的假设)和量子色动力学(描述夸克与胶子相互作用的物理理论)。此前,这类前沿科学问题通常只有少数专家能深入参与。这次 OpenAI 强调与学术社区合作,并说明研究者可以如何核验这些结果、在其基础上继续推进。对普通读者来说,这意味着 AI 开始被用来协助攻克基础科学难题,而且结果可以被独立检验;不过原文没有说明具体做了哪些验证、结果是否已经发表或可公开使用,这些信息尚不明确。
提供的材料未提及具体可用工具。
Google DeepMind、Google Research 联合世界资源研究所(WRI)和国际应用系统分析研究所(IIASA)发布了 ForTy 2020 全球森林类型地图。过去大多数地图只标出“哪里有树”,分不清原始雨林、桉树种植园和油棕农场,但它们储存的碳和生物多样性差别很大。新地图把地球每 10 米×10 米的地块分成六类:原始林、自然再生林、人工种植林、经济林场、树木作物与农林复合、其他土地,并附 2017 至 2025 年的逐年变化序列,能看出被砍的天然林变成了林场还是农田。全球 9000 多个抽样点的专家核验显示,分类准确率约 90%,区分森林与非森林约 95%,可服务欧盟零毁林法规等用途;时间序列目前是早期发布版本。
Anthropic 正在公开招募生命科学领域的客座研究员。学术机构、非营利组织或政府实验室的首席研究员及其团队可以提交项目申请,在 8 到 12 周内与 Anthropic 的研究人员合作,用 Claude 研究因果人类生物学、分子生物学、药物化学、药物发现和临床科学等问题。Anthropic 会免费提供模型和工具,成果将共同发表,数据和代码开源,研究者始终保留自己数据的所有权。申请不需要提交私有数据,只需公开信息,窗口约 14 天,入选者会在截止后约 14 天收到邮件通知。
Google 推出了一款叫 Antigravity 的智能开发平台,科学家可以用它来寻找新型抗菌肽(一种有望替代传统抗生素的天然分子)。过去,研究人员要在多个数据库之间来回查找、手动导出文件做结构分析,还要靠专家团队设计实验,过程又慢又零散。这次他们展示了 Antigravity 结合 ProtNLM 模型的用法:ProtNLM 能直接根据氨基酸序列预测蛋白质功能,帮助扫描 UniProt 里数百万个功能未知的蛋白质,从“暗物质”中找到候选分子。演示中,研究人员找到了一个对呼吸道感染病原体有预测活性的抗菌肽候选物,目前正在进行湿实验室验证。对读者来说,这意味着将来找新药可能从几天繁琐的数据库检索变成一次人机协作的对话式探索,不过该候选物尚未证实有效,平台的具体开放状态原文也未说明。
OpenAI 公布了一批数学开放问题的新结果,这些问题是由其内部的前沿模型解决的。所谓“开放问题”,就是数学界长期没有找到答案的难题;“前沿模型”指能力最强、尚未对外公开的模型。为了让结果可验证,OpenAI 把用 Lean 写出的证明形式化代码以及研究细节放到了 GitHub 上,Lean 是一种能逐步检查数学证明是否成立的工具。对读者来说,这些结果和代码可供查看和复核,说明 AI 在数学证明上又向前走了一步。