AI 资源库 · 已整理 8 项
查看与LLM 评测相关的 AI 资讯、工具、Skill、工作流和开源项目。
MasayukiYamagishi/kokochi-ui-agent-readability-lab · OpenTelemetryを使って、HTML構造の違いによるLLMのUI解釈を観測・評価する実験基盤
该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。
jessicaudo-personal/jessicaudo-personal · Technical PM (7 yrs @ Microsoft) building platform-scale, engineering-facing systems, now applying that builder mindset to AI product management. This repo showcases hands-on AI PM work: prompting, RAG, evals, and agentic workflows, backed by strategy docs and PRDs, not just demos.
该仓库是 Technical PM Jessica Udo 的个人主页与 AI 产品管理作品集入口，汇集提示工程、RAG、评测与 Agent 工作流的实践记录，并链接模型对比、文本生成 CLI、多轮食谱生成等外部项目，同时展示策略文档与 PRD 的规划说明。部分项目与评测框架标注为即将推出，未提供安装与运行细节。
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。
djolex999/serbeval · Serbian-language LLM benchmark on lm-evaluation-harness: grammar, pravopis, aorist, jat, č/ć, Cyrillic/Latin — with a preliminary 12-model leaderboard
serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
dennisdang5/earnings-rag · RAG over SEC 10-K filings for NVIDIA, Apple, and Capital One — grounded, cited answers with a streaming UI, an eval-gated CI pipeline, and AWS deployment.
该项目是一套端到端的检索增强生成（RAG）系统，面向 NVIDIA、Apple、Capital One 三家公司的 SEC 10-K 年报，回答问题时只依据财报原文并给出引用来源。系统包含 SEC EDGAR 数据抓取、解析与分块、OpenAI 嵌入、PostgreSQL + pgvector 向量检索、基于 gpt-4o-mini 的带引用生成、SSE 流式 Web 界面、可门控 CI 的评测工具以及 AWS 部署方案，仓库中还记录了分块大小、提示词修改、公司路由等设计取舍与已知局限。
omvyas77/finhelm · Finance-domain RAG over US bank SEC filings, with a CI-gated evaluation harness. Cited answers, measured abstention, and negative results kept in.
finhelm 是一个面向美国银行 SEC 文件的金融领域 RAG 系统，支持基于约 43,000 个文件切块的混合检索（关键词+语义）、交叉编码器重排和查询拆分，仅依据检索到的段落生成带引用标记的答案，并在证据不足时给出拒答。项目配套 CI 门控的评测框架和冻结运行结果，公开了检索、拒答、成本和失败案例等量化指标及未解决问题。
做 AI Agent 的团队常常需要回头检查 Agent 的每一步表现好不好，但原来的办法要么太死板，要么太贵太慢。现在一个叫 Jev 的模型可以直接接入 LangSmith 的评估功能，当“裁判”给 Agent 的行为打分。据文中介绍，它在分类任务上比一般大模型便宜约 450 倍、快约 200 倍，还能一次并行回答多个判断问题。你可以在任意追踪项目的 Evaluators 标签页里直接试用它。