AI 资源库 · 已整理 1 项

LLM 推理基准

查看与LLM 推理基准相关的 AI 资讯、工具、Skill、工作流和开源项目。

serverless-lakehouse:基于 Runpod Serverless 基准数据构建 bronze→silver→gold 湖仓与可视化仪表盘

ashwinsreedhar28/serverless-lakehouse · Medallion lakehouse (bronze → silver → gold) over my own Runpod Serverless LLM benchmark data: cold starts, FlashBoot, worker-vllm boot anatomy, cost per job. Local PySpark + Delta Lake, redacted landing zone, idempotent ingest, four external audits.

该项目以作者自有的 Runpod Serverless LLM 基准数据为来源,用本地 PySpark 与 Delta Lake 搭建 bronze→silver→gold 的 medallion 湖仓:先着陆并脱敏原始文件,再逐层构建可重建的 Delta 表,最终生成按 GPU 与镜像统计的冷启动分布、FlashBoot 命中率、单任务成本以及 emberserve 与 worker-vllm 的对比等 gold 聚合结果,并通过静态 HTML 页和 Streamlit 应用查看。另附 dbt/Snowflake 后端与审计脚本,材料未说明 GPU、API 成本等部署条件。

☆ 收藏查看来源 ↗