sortition：LLM 路由策略的反事实评估与策略学习

核心能力与快速开始

★ 1 · Python

能做什么

提供 LLM 路由策略的反事实评估：在日志中记录各决策的倾向分数，并借助 IPS、SNIPS、DM、DR、switch-DR、shrinkage-DR 等估计器，对未实际部署的策略给出带区间的质量/成本估计。支持交叉拟合的结果模型、针对有界结果的 Waudby-Smith–Ramdas betting 区间以及针对成本与延迟的 bootstrap 区间，并提供重叠与支撑诊断。决策侧包含规则策略、带精确倾向的 ε-greedy、带蒙特卡洛倾向的 Thompson 采样、版本化策略产物与热加载。训练侧可从日志拟合梯度提升策略，另设成本模型（Tweedie 损失）预测每请求成本，并通过 sweep 自动选择质量与价格的交换率（--tune-cost-weight）。附带 sortition.health 用于检验日志是否仍能支撑路由结论，sortition.metrics 提供 Prometheus 指标，sortition.sim 提供已知真值的合成 bandit 供估计器对照测试。集成方面提供 LiteLLM 路由插件与日志回调（不持有凭证、不执行调用，失败时开放并通过计数器暴露）。

适用场景

用于评估和比较 LLM 路由策略：例如对历史流量运行 sortition compare，比较当前策略与候选策略；用 sortition train 从日志训练策略并按其质量/成本容忍度选择成本权重；用 sortition doctor 检查日志是否具备推断所需的条件；用 sortition report 与 sortition dashboard 生成报告与仪表盘；在生产侧通过 LiteLLM 插件记录带倾向的路由日志，并借助 sortition.store 落地为日期分区的 parquet（支持 duckdb 读取路径以及 S3、Postgres sink）。

项目形态

可直接使用的工具

部署方式

以 Python 包形式发布，提供可独立安装的 CLI（pip install 'sortition[cli]'）与评估路径（pip install 'sortition[eval]'，无需 LiteLLM 或 LightGBM）；路由插件需额外安装 LiteLLM 集成。具体生产部署条件、硬件要求与运行环境未说明。

主要依赖

README 列出多种可选依赖组合：eval（估计器，无网关依赖）、cli（命令行）、eval+litellm（路由插件与日志适配）、train（学习策略与成本 sweep）、s3（对象存储 sink）、all；使用 polars 读取 parquet。其他运行环境、版本与资源要求未说明。

使用限制

项目自述处于早期阶段，日志 schema 是唯一稳定契约，其余部分可能变化。有效性仅在带已知真值的模拟器和 mock 的 LiteLLM 上验证过，尚未在真实生产流量中验证；真实部署中最可能先暴露的问题是持续负载下的 sink 吞吐与数周内 parquet 分片数量增长。未探索的策略无法被评估，需要保留一定探索流量，作者给出该探索成本约为一三分之一账单的示例数字。LiteLLM 网关回退会破坏倾向并导致行被排除并报为泄漏率。持久化契约以“最多丢失一个 flush 间隔（默认 5 秒）”为界，因为 LiteLLM 的 CustomLogger 没有 shutdown hook。成本权重的默认容忍度下可能拒绝任何交易。

许可证

MIT

最近推送

2026-10-14 08:35

资料检查：2026-10-15 07:00 · 卡片整理：2026-10-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在开发 LLM 路由或模型选择系统时，用 sortition 的 Python 库与 CLI 对路由策略做反事实评估：记录每次路由决策的 propensity，使用 IPS、SNIPS、DM、DR 等 off-policy 估计方法，从日志回答“换用另一个未部署的策略会带来怎样的质量与成本结果”；也可用其 LiteLLM 集成插件生成带 propensity 的日志，并用模拟器验证估计器。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证