lakehouse

serverless-lakehouse：基于 Runpod Serverless 基准数据构建 bronze→silver→gold 湖仓与可视化仪表盘

ashwinsreedhar28/serverless-lakehouse · Medallion lakehouse (bronze → silver → gold) over my own Runpod Serverless LLM benchmark data: cold starts, FlashBoot, worker-vllm boot anatomy, cost per job. Local PySpark + Delta Lake, redacted landing zone, idempotent ingest, four external audits.

该项目以作者自有的 Runpod Serverless LLM 基准数据为来源，用本地 PySpark 与 Delta Lake 搭建 bronze→silver→gold 的 medallion 湖仓：先着陆并脱敏原始文件，再逐层构建可重建的 Delta 表，最终生成按 GPU 与镜像统计的冷启动分布、FlashBoot 命中率、单任务成本以及 emberserve 与 worker-vllm 的对比等 gold 聚合结果，并通过静态 HTML 页和 Streamlit 应用查看。另附 dbt/Snowflake 后端与审计脚本，材料未说明 GPU、API 成本等部署条件。

何时该用 Liquid Clustering？Lakehouse 布局策略基准测试

有人对比了 Delta Lake 上三种数据布局方式：Liquid Clustering、ZOrdering 和分区。所谓数据布局，就是数据在存储里怎么摆放，摆得好查询就快。作者在四类典型工作负载上做了测试，发现两个此前没被记录过的失效模式，可能已经影响到现在的生产系统。文章最后给出了一套选择布局策略的决策框架，帮助工程师按自己的场景挑合适方案。