学习与研究AI 资源
llmopt：面向数学与物理机器学习的 Oracle 验证实验平台
39hops/llmopt · Oracle-verified experiments in mathematics and physics ML — exact integer training, zero-calibration quantization, and an append-only ledger that books nulls and retractions beside the wins.
ELI5：它是什么，解决什么问题
llmopt 是一个数学与物理机器学习实验仓库，强调以符号等价而非字符串匹配校验答案、解码结果需与贪心解码逐 token 一致、生成的汇编需实际运行验证，并将每次实验预先注册可失败的阈值。项目包含符号推导搜索、带符号校验的数学题生成器、MoE 路由分析与专家裁剪、权重量化与整数精确计算、推测解码与缓存等研究与工程组件，并以追加式账本同时记录成功结论、空结果和撤回结论。
核心能力与快速开始
★ 1 · Python
- 能做什么
- 提供数学/物理 ML 实验基础设施：符号等价答案校验、token 级解码一致性检查、汇编生成并执行验证；mathgen 种子化生成微积分、线性代数、ODE、力学与证明题并内置符号检查；moe 模块做需求排序、keep-set、router 掩码与专家手术；weightspace 从参数预测网络计算行为；intmath 提供跨机器逐位复现的整数原语；quantize 做敏感性探测与闭式位分配；decoding/cache/kernels 涵盖推测解码、前缀缓存与手写 Metal/Triton 内核；以 FINDINGS/RESULTS 追加式账本按成熟度记录结论、空结果与撤回。
- 适用场景
- 适合研究者在数学与物理领域开展可预注册、可审计的 LLM 训练与推理实验，复现训练轨迹摘要，分析 MoE 路由与专家裁剪对数学成绩的影响，验证量化打包规律，或参考其符号校验和账本方法设计自证伪的实验流程。
- 项目形态
- 研究实现
- 部署方式
- 未说明；README 仅给出 pip install -e 的本地安装方式与 python -m llmopt.reproduce 复现命令。
- 主要依赖
- 核心依赖 torch、numpy、sympy；可选 figures、lake 依赖用于绘图与 Parquet 结果湖。MLX 被用于 30B MoE 实验，但完整硬件与算力条件未说明。
- 使用限制
- 多项结论为单种子或特定设备范围；跨设备 gate 比较被禁止；MoE 掩码提分现象的机制未解释；无校准打包规律在 Qwen2.5-0.5B 上不成立且边界两侧均为 n=1；复现只证明轨迹与教师强制读出，不包含自足的 oracle 评分，因为训练行文本未公开。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-20 05:52
资料检查：2026-10-20 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。