数据处理AI 资源
serverless-lakehouse：基于 Runpod Serverless 基准数据构建 bronze→silver→gold 湖仓与可视化仪表盘
ashwinsreedhar28/serverless-lakehouse · Medallion lakehouse (bronze → silver → gold) over my own Runpod Serverless LLM benchmark data: cold starts, FlashBoot, worker-vllm boot anatomy, cost per job. Local PySpark + Delta Lake, redacted landing zone, idempotent ingest, four external audits.
ELI5：它是什么，解决什么问题
该项目以作者自有的 Runpod Serverless LLM 基准数据为来源，用本地 PySpark 与 Delta Lake 搭建 bronze→silver→gold 的 medallion 湖仓：先着陆并脱敏原始文件，再逐层构建可重建的 Delta 表，最终生成按 GPU 与镜像统计的冷启动分布、FlashBoot 命中率、单任务成本以及 emberserve 与 worker-vllm 的对比等 gold 聚合结果，并通过静态 HTML 页和 Streamlit 应用查看。另附 dbt/Snowflake 后端与审计脚本，材料未说明 GPU、API 成本等部署条件。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 对 Runpod Serverless LLM 基准原始数据做着陆、脱敏与清单校验，按 bronze/silver/gold 分层构建可重建的 Delta 表，包含类型化、解析、去重与手工 seed 维度；提供独立的行数核验、密钥扫描与审计打包；在 gold 之上导出静态 HTML 仪表盘（SVG 图表）和 Streamlit 应用，并可选使用 Snowflake + dbt 后端生成同款页面；支持用 make 目标逐步执行 setup、land、bronze、verify、silver、gold、report、dashboard。
- 适用场景
- 分析 Serverless LLM 推理的冷启动分布、FlashBoot 命中率与按 GPU/镜像的对比；统计单任务与每千篇评分文章的成本；比较 emberserve 与 worker-vllm 在相同端点上的表现；作为本地 PySpark + Delta Lake medallion 架构与数据核验流程的参考实现；复现或审阅作者公开的 Runpod 基准数据。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地运行（macOS/Apple Silicon，M1）；数据着陆层为本地文件系统路径，材料称改接对象存储属于未来工作、当前代码未实现；另可把静态页发布为 Hugging Face Space（静态 SDK 免费层，Docker/Gradio Space 需 HF PRO），Snowflake 后端为可选。
- 主要依赖
- Python 环境，pinned pyspark 3.5.9 与 delta-spark 3.3.3；需 Java 11/17（brew openjdk@17）；首次运行会从 Maven 拉取 Delta jars；无需 GPU。
- 使用限制
- 仅覆盖作者自有的 Runpod Serverless 与 Pulse 基准数据，材料明确排除若干日志与 fixture；当前着陆路径为本地文件读写，未实现对象存储直读；部分 GPU 单价与主机状态依赖手工 seed 与作者标注（含 observed/inferred/unknown）；材料未说明 API 成本、配额与商业使用条件。
- 许可证
- MIT
- 最近推送
- 2026-10-20 06:32
资料检查：2026-10-20 07:00 · 卡片整理：2026-10-30 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。