Cloudflare 优化一致性哈希,回收 100 TB 内存
这件事讲了什么
Cloudflare 优化了其内部负载均衡服务中一致性哈希的 Rust 实现(pingora-ketama),把这项服务占用的内存减少了 100 TB 以上。原来的问题是:每个后端服务器要在哈希环上保存很多哈希条目,条目越多占用内存越大。这次的做法是压缩哈希环上的条目,并通过统计分析哈希分布和冲突率,把每个后端所需的哈希数量减少了约 90%。对读者来说,这说明大规模系统里看似不起眼的数据结构优化,也能省下巨量内存资源。
可以使用的工具
文中可用工具
- pingora-ketamaCloudflare 用 Rust 实现一致性哈希的组件,本次优化的对象
- Rust编写 pingora-ketama 的编程语言
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。