← 返回列表
评测与安全工具

MiniLang：从零实现的编译器与 LLM 语言学习基准

ronish645/minilang-compiler · Can LLMs learn a programming language they've never seen? A from-scratch compiler for MiniLang, used as an uncontaminated benchmark where Claude, GPT and Qwen learn it from the spec and debug through a compiler-as-tool agent loop. MCP server included.

GitHub原文发布 未知首次收录 2026-10-16上架 2026-10-16 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。
# llm-evaluation# benchmark# compiler# tool-calling# MCP Server

核心能力与快速开始

★ 0 · TypeScript

能做什么
提供 MiniLang 语言的完整编译链：词法分析、递归下降解析、语义分析与渐进类型检查、三地址码与伪汇编生成、带步数/调用深度/输出限制的树遍历解释器；CLI 支持 run、check、compile（可输出 tac/asm）、stdin 读取与 --json 机器可读结果；错误信息带阶段、精确行列位置、fix-it 提示，并可一次性报告多个独立错误；提供 bench/ 中多供应商（Anthropic Messages API、OpenAI Responses API、Ollama 本地模型）的智能体评测回路与可续跑 episode 缓存、成本预估；提供 MCP 服务器 minilang-mcp，暴露 run_program、check_program、compile_program 工具与 minilang://spec 资源。
适用场景
研究语言模型在无训练数据污染条件下学习新语言规范的能力；比较不同反馈质量（无反馈、单行失败提示、完整定位诊断）对模型调试表现的影响；作为编译器教学与课程项目（原为 CS 453 编译器设计课程构建）；通过 MCP 让 AI 助手在受控、有资源限制的沙箱中运行和检查代码。
项目形态
可直接使用的工具
部署方式
需自行通过 git clone 与 pip 安装（含可选的 mcp 扩展）；MCP 服务器以 stdio 方式运行，可注册到 Claude Desktop / Claude Code；官网提供浏览器内运行编译器的展示页面（Pyodide）。
主要依赖
Python 3.10–3.13；运行时零依赖；评测基准需自备 Anthropic / OpenAI / Ollama 等模型访问凭据；具体硬件与 API 成本限制未说明（README 提到基准实验约 1.30 美元 API 成本）。
使用限制
MiniLang 是为评测而刻意创造的小型语言，功能范围有限，并非通用生产语言；基准结果仅覆盖 README 列出的模型与 32 个任务；错误信息质量在实验中对前沿模型未产生可测量影响，作者计划中的中型开源模型评测与 REPL、TAC 虚拟机尚未完成；许可证信息未提供。
许可证
未说明
最近推送
2026-10-15 09:59
官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

通过 MCP 服务器把 MiniLang 编译器作为工具暴露给 AI 助手，供程序员在编写或调试 MiniLang 程序时调用 run_program、check_program、compile_program 进行运行、类型检查与中间代码生成；也可用 CLI 执行、检查、编译示例程序并获取带位置与修复提示的错误信息。

查看内容依据
`minilang-mcp` exposes the compiler to AI assistants over the [Model Context Protocol](https://modelcontextprotocol.io): `run_program`, `check_program` and `compile_program` tools, plus the spec as the `minilang://spec` resource.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Agent Docs：面向 AI Agent 的 Claude Code、Cursor、Codex 与 MCP 官方文档混合 RAG 服务

Agent Docs 是一个混合 RAG 服务，索引约 600 页 Claude Code、Cursor、Codex 与 MCP 的官方文档并每日自动刷新，通过 MCP 工具（search_docs、read_section）或 REST 接口供 AI Agent 调用，返回带引用的检索结果与答案。其检索链路包含翻译、混合检索（Embedding + BM25）、RRF 融合、Cohere 重排、阈值拒答与上下文选择，并配有 Langfuse 追踪和评估回归门禁。

Hanjeok Agent：可追溯的旅行指南智能体

Hanjeok Agent 是面向 Hanjeok 旅行服务的智能体，用于回答“某地某日是否拥挤”这类问题。它先用规则解析问题中的地点与日期，再通过受校验的查询步骤在 Neo4j 知识图谱与 Hanjeok 只读接口中检索，并在界面上逐步展示每次查询。最终答案只允许引用本次问题实际获取到的记录或政策文档，经由引用校验后才展示；答案与替代地点排序均沿用 Hanjeok 服务的原始排序，模型不自行排序。项目还提供路径可视化、两种检索策略的对比评测页面，以及通过 MCP 暴露的只读工具。

Vouch（SEC 文件财务问答 Agent）：面向美国上市公司财报的可审计工具调用 Agent

Vouch 是一个面向美国上市公司 SEC 财报的金融级工具调用 Agent：数值一律来自 XBRL 结构化数据（不让 LLM 做财务算术），叙述性内容通过 pgvector 稠密检索并附 EDGAR 引用，输出护栏会拦截无法追溯到来源的数字，无法回答时以结构化方式弃答而非编造。项目还提供三层评测（确定性 CI 门禁、经人工标注校准的领域评审、FinanceBench 外部基准）、红队测试与可复现的审计回放，并支持上传自有文档以表格单元格级引用作答，同时通过 MCP 暴露同一套工具。

GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。