KV Cache

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

演讲：大规模 LLM 服务——隐藏的 KV Cache 优势

这是一场演讲，讲者是 Khawaja Shams，主题是如何高效地大规模运行大语言模型（LLM）服务。问题在于：模型推理很吃 GPU，而对话上下文对应的 KV Cache 会占用大量显存，容易撞上“内存悬崖”，还会拖慢响应、推高成本。演讲从分布式系统的角度给出几种做法：提高 GPU 利用率、管理 KV Cache 内存、利用分层存储、降低尾部延迟，以及把预填充和解码拆开部署。读者可以借此了解如何让整套推理集群跑得更快、更便宜、更稳。目前公开的只有标题和摘要，具体实现细节、数据和演示材料均未说明。