AI 资源库 · 已整理 2 项
查看与MultiLangBench相关的 AI 资讯、工具、Skill、工作流和开源项目。
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。
OpenAI 本周公布了两项基准测试结果。在自家的 COBOL 迁移测试中，新模型 GPT-6.1 Sol 在低推理强度下准确率达到 86.6%，而上一代 GPT-5.6 Sol 只有 5.4%，成本还低了 39%；提高推理强度后准确率可达 97.9%。COBOL 是支撑大量银行和 ATM 系统的老旧编程语言，长期缺少代码和文档，AI 很难学好，所以这次进步幅度显得很大。另一项叫 MultiLangBench 的测试在 GitHub 上公开了，考察模型用 20 种语言从零搭建一个兼容 SQLite 的数据库引擎，旗舰模型 GPT-6 Astra 平均通过率 87.4%，上一代仅 26.8%。但要注意：COBOL 测试的题目和数据集没有公开，外部开发者无法独立验证，OpenAI 也承认迁移到生产系统仍需专家审查。