评测与安全工具
llm-eval：LLM 提示一致性与稳定性测试工具
wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.
ELI5：它是什么，解决什么问题
llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。
核心能力与快速开始
★ 1 · C++
- 能做什么
- 同一提示词重复运行（默认 10 次或自定义次数），对比模型多次输出的一致性；计算并展示稳定性评分；当回答差异过大时给出方差标记；提供简单界面直接输入提示并查看结果；同时以单头文件 C++ 库形式提供，便于嵌入自有 C++ 项目自动化测试。
- 适用场景
- 测试提示词质量与模型输出稳定性；比较不同模型或设置下的回答一致性；通过重复实验判断需要调整提示或模型配置；在 C++ 项目中集成提示一致性评测。
- 项目形态
- 可直接使用的工具
- 部署方式
- README 说明以 Windows 程序形式分发，下载后解压运行 llm-eval.exe 即可，程序本身无需联网；无需额外安装。
- 主要依赖
- Windows 10 或更高版本；任意可流畅运行 Windows 的 Intel 或 AMD 处理器；至少 4 GB 内存；约 50 MB 磁盘空间。
- 使用限制
- README 仅说明 Windows 支持，未说明其他操作系统支持情况；未说明所支持的模型接入方式或 API 配置；未说明调用模型是否产生费用；文件名为未签名程序，运行时可能出现系统警告；README 的 topics 中标注 rust 但语言元数据为 C++，存在不一致。
- 许可证
- MIT
- 最近推送
- 2026-09-17 14:48
资料检查：2026-09-18 07:00 · 卡片整理：2026-09-18 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
在 C++ 项目中集成单头文件库，对同一提示多次运行并比较回答，评估语言模型回答的一致性与稳定性，获得评分和差异标记，用于测试和排错。
查看内容依据
llm-eval is a small, easy-to-use tool that helps you test language models. It runs the same prompt multiple times and checks how consistent the answers are.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。