跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
girithc/inference · gpu kernels for ocr, vision and reasoning llms. hosted on modal
该项目提供在 Modal 平台上部署开源模型的 GPU 推理方案，覆盖 OCR、文本生成图像、音乐生成、对话、图像生成视频等模型，并附带一个 Next.js/TypeScript 的 Web 界面，包含推理目录、后训练任务、A·B 质量测试和推理栈配置组合视图，项目仍在建设中。
dadwritestech/LlamaForge · Open-source control panel for the real llama.cpp: see where a model lands in your VRAM before loading, every llama-server flag per model, one-click llama.cpp updates, several models at once, and Embers (local agents whose quotes are checked by code). Windows · Linux · macOS.
LlamaForge 是一个开源控制面板，它不自带模型，通过驱动官方 llama.cpp 的 llama-server 路由并编辑 models.ini，在浏览器中管理本地 GGUF 模型的下载、加载、参数配置与对话。提供按显存评估模型能否装下、查看并调整全部 llama-server 参数、一键更新 llama.cpp、多模型并行、盲测竞技场、本地 TTS、定时追踪型本地 Agent、Hugging Face GGUF 发现与下载，以及 OpenAI/Anthropic 兼容 API 与 MCP 接入。项目为早期预览，Windows + NVIDIA 为测试较多的路径，Linux 和 macOS 实机使用较少。