评测与安全工具
MultiLangBench：多语言语言模型 SQLite 实现能力评测基准
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
ELI5：它是什么，解决什么问题
MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。
核心能力与快速开始
★ 32 · PLpgSQL
- 能做什么
- 提供面向语言模型的代码实现评测：模型在阅读 SQLite 3.40.1 文档后，需用指定编程语言实现一个可执行程序，该程序接收数据库路径参数，并从标准输入接收 SQL 查询。评测环境会统一上传数据库、运行模型实现、取出输出数据库，再用真实 SQLite 3.40.1 执行验证查询来判定测试是否通过；仓库中附带测试用例的预期输出文件，可用于校验测试运行器的实现。
- 适用场景
- 适用于评估语言模型在给定规范和文档条件下实现完整数据库引擎的能力，也适用于比较不同模型在代码实现任务中的 API 成本与测试通过率；在快速评估时，可选用 README 建议的 272 条前缀测试。
- 项目形态
- 开发框架
- 部署方式
- 在隔离且无互联网访问的容器环境中运行评测；需下载 SQLite 3.40.1 文档并彻底移除环境中已有的 SQLite 相关组件，README 提供参考删除脚本；具体部署细节需按环境自行分析。
- 主要依赖
- 需准备并运行模型实现的可执行文件（接收数据库路径参数、从标准输入读取 SQL 查询），提供真实 SQLite 3.40.1 执行验证查询，并遵循 60 秒超时限制；模型不得使用互联网，且不得使用目标语言以外的实现或混合语言。
- 使用限制
- README 未说明评测的 API 成本范围与具体运行环境规格；完整 24k 测试运行成本可能较高；测试用例由 TCL 测试转换而来，51k 中仅 24k 可转换；测试不通过、崩溃或超时均记为失败。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-20 05:01
资料检查：2026-10-24 07:00 · 卡片整理：2026-10-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
用于评测语言模型依据 SQLite 3.40.1 文档、用指定编程语言实现 SQLite 兼容程序的能力，并通过由 TCL 测试转换而来的测试套件验证实现正确性；评分以（API 成本、测试通过率）二元组表示。
查看内容依据
This is an eval where a language model has to implement SQLite version 3.40.1. It is given the documentation, and its implementation is tested against a test suite.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。