评测与安全AI 资源
serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测
djolex999/serbeval · Serbian-language LLM benchmark on lm-evaluation-harness: grammar, pravopis, aorist, jat, č/ć, Cyrillic/Latin — with a preliminary 12-model leaderboard
ELI5：它是什么，解决什么问题
serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供塞尔维亚语专用评测任务：语法选择题、习语、西里尔/拉丁一致性检查、填空构形、正字法与现象探针任务、无提示改错与误报检测；每题同时报告 unparsed 比率。附带 gold 答案校验页面、生成/自校验/人工复核/统计/报告等数据集工具，可从 CoNLL-U 语料按介词格支配挖题，也可基于 srLex 词典合成句子。
- 适用场景
- 用于比较不同 LLM 在塞尔维亚语语法、正字法和字母系统一致性上的表现，观察前沿模型与中低端模型、开源权重模型、不同推理预算之间的差距，以及区分“识别正确形式”和“主动产出正确形式”的能力差异。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地 Python 环境运行，需从仓库根目录执行；可通过 OpenRouter API 评测远程模型，也可用 Ollama 运行本地模型；未说明官方托管服务。
- 主要依赖
- README 说明需 Python 3 虚拟环境并安装项目及 dev 依赖；通过 OpenRouter 评测需 OPENROUTER_API_KEY；本地 Ollama 评测的硬件条件未说明。
- 使用限制
- 官方题集仅 351 题，61 题人工核验，其余依赖四个强模型的共识或由核验题派生，共识不等于人工验证，且共识模型本身也在排行榜中，存在选择偏差；前沿模型区分度有限，正字法部分存在权威规范分歧；挖掘题可能受训练数据污染，语料许可会继承到题目；推理收益有限；未说明 API 成本与商用条件。
- 许可证
- MIT
- 最近推送
- 2026-10-17 20:25
资料检查：2026-10-18 07:00 · 卡片整理：2026-10-18 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。