搜索归档

serverless-lakehouse：基于 Runpod Serverless 基准数据构建 bronze→silver→gold 湖仓与可视化仪表盘

ashwinsreedhar28/serverless-lakehouse · Medallion lakehouse (bronze → silver → gold) over my own Runpod Serverless LLM benchmark data: cold starts, FlashBoot, worker-vllm boot anatomy, cost per job. Local PySpark + Delta Lake, redacted landing zone, idempotent ingest, four external audits.

该项目以作者自有的 Runpod Serverless LLM 基准数据为来源，用本地 PySpark 与 Delta Lake 搭建 bronze→silver→gold 的 medallion 湖仓：先着陆并脱敏原始文件，再逐层构建可重建的 Delta 表，最终生成按 GPU 与镜像统计的冷启动分布、FlashBoot 命中率、单任务成本以及 emberserve 与 worker-vllm 的对比等 gold 聚合结果，并通过静态 HTML 页和 Streamlit 应用查看。另附 dbt/Snowflake 后端与审计脚本，材料未说明 GPU、API 成本等部署条件。