何时该用 Liquid Clustering?Lakehouse 布局策略基准测试
这件事讲了什么
有人对比了 Delta Lake 上三种数据布局方式:Liquid Clustering、ZOrdering 和分区。所谓数据布局,就是数据在存储里怎么摆放,摆得好查询就快。作者在四类典型工作负载上做了测试,发现两个此前没被记录过的失效模式,可能已经影响到现在的生产系统。文章最后给出了一套选择布局策略的决策框架,帮助工程师按自己的场景挑合适方案。
可以使用的工具
文中可用工具
- Delta Lake一种数据湖存储格式,用于组织和管理大规模数据
- Liquid Clustering一种自动调整数据物理布局的排序方式
- ZOrdering一种将多维数据按 Z 序排列以加速查询的技术
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。