实验协议

piloop：为任意 Git 仓库运行编码智能体并自动评分优选提交的自动研究工具

hiloopai/piloop · Autoresearch for any repo: coding agents try ideas, piloop scores every commit and keeps what wins

piloop 是一个面向 Git 仓库的自动研究工具。它让编码智能体围绕一个可由程序度量的目标尝试不同改进思路，每个智能体在独立的 git worktree 中提交改动，piloop 再用用户提供的 evaluate 命令为每个提交打分，仅保留优于当前最优结果的改动。状态保存在本机 SQLite 数据库与仓库 git refs 中，无托管服务；支持 Claude Code、Codex、pi、Gemini CLI、Cursor 等智能体入口，并提供插件机制扩展裁决规则、运行时、表格与命令。

规模化 A/B 测试的最佳实践：用实验协议统一标准

Datadog 的两位作者介绍了他们产品里叫“实验协议”的功能。原来团队做 A/B 测试时，指标、分流方式、放量节奏和分析方法都靠一份评审文档约定，每个实验的人都要手动重搭一遍，团队多了就容易各做各的。实验协议把已经评审通过的这套方法存成可复用的配置，新建实验时选一个已发布的协议，字段会自动带入草稿，还能按需修改。读者可以借此让同类实验有统一的起点，减少配置不一致带来的问题，也能在实验上线前就把主指标和防护指标定好。