llm-routing

sortition：LLM 路由策略的反事实评估与策略学习

gojiplus/sortition · Counterfactual evaluation for LLM routing policies.

sortition 是一个 Python 库与 CLI，用于对 LLM 路由策略进行反事实评估。它通过记录每次路由决策的概率（propensity）并在部分流量上探索，结合 IPS、SNIPS、DM、DR 等 off-policy 估计方法，让日志能够回答“如果换用另一个未部署的策略，会带来怎样的质量与成本结果”。项目还提供规则策略、ε-greedy/Thompson 决策、从日志训练的梯度提升策略、质量与价格权衡曲线的自动搜索、LiteLLM 集成插件与日志存储模块，并附带带已知真值的模拟器用于验证估计器。作者说明其已验证范围为模拟器与 mock 的 LiteLLM，尚未在真实生产流量中验证。