推理与部署工具
inference：在 Modal 上一键部署开源模型的 GPU 推理服务
girithc/inference · gpu kernels for ocr, vision and reasoning llms. hosted on modal
ELI5：它是什么，解决什么问题
该项目提供在 Modal 平台上部署开源模型的 GPU 推理方案，覆盖 OCR、文本生成图像、音乐生成、对话、图像生成视频等模型，并附带一个 Next.js/TypeScript 的 Web 界面，包含推理目录、后训练任务、A·B 质量测试和推理栈配置组合视图，项目仍在建设中。
核心能力与快速开始
★ 0 · TypeScript
- 能做什么
- 提供面向多个开源模型的 GPU 部署与推理服务，涉及 GLM-OCR、DeepSeek-OCR 的 OCR，Qwen-Image-2.1 的文生图，YuE2-3B 的音乐生成，Qwen3.8-27B 的对话，以及 Minimax-h3_Singularity 的图生视频；附带 Next.js/TypeScript Web 游乐场，含推理模型目录、后训练任务账本、单模型/A·B 质量测试、引擎与量化和内核的推理栈配置组合与配置生成。
- 适用场景
- 适合需要在 Modal 上快速搭建开源多模态模型推理服务的开发者，用于 OCR 识别、文生图、音乐生成、对话问答、图生视频等场景的部署与效果对比测试。
- 项目形态
- 开发框架
- 部署方式
- 托管在 Modal 平台，提供一键 GPU 部署命令；具体部署步骤未详细说明。
- 主要依赖
- 需要 Modal 平台账户与 GPU 资源；其他硬件与软件依赖未说明。
- 使用限制
- README 标注为进行中的工作，功能仍在逐步完善；API 成本、许可与商用条件未说明。
- 许可证
- 未说明
- 最近推送
- 2026-11-02 11:26
资料检查：2026-11-03 07:00 · 卡片整理：2026-11-03 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
程序员可参考或复用该仓库在 Modal 上一键部署开源 GPU 推理服务的方案，覆盖 OCR、文本生成图像、音乐生成、对话、图像生成视频等模型，并查看其 Next.js/TypeScript Web 界面中的推理目录、后训练任务、A·B 质量测试和推理栈配置组合视图。
查看内容依据
Serving open models on Modal. One-command GPU deployments for:
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。