serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测
djolex999/serbeval · Serbian-language LLM benchmark on lm-evaluation-harness: grammar, pravopis, aorist, jat, č/ć, Cyrillic/Latin — with a preliminary 12-model leaderboard
serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。
评论 · 分享第一个看法