AI 资源库 · 已整理 3 项
查看与本地 GGUF 模型相关的 AI 资讯、工具、Skill、工作流和开源项目。
nmorgowicz-org/local-llm-foundry · AI runtime loader and model-management control center for local LLM deployments.
Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
rongxinzy/RongxinAI · Open-source desktop AI agent: built-in free model, local GGUF models via llama.cpp, dispatch tasks from WeChat/Feishu/DingTalk. Files, browser & MCP tools. | 开源桌面 AI 智能体：内置免费模型，llama.cpp 本地 GGUF 模型，微信/飞书/钉钉直接派任务。
ZhiYuan Agent（仓库 rongxinzy/RongxinAI）是采用 AGPL-3.0 许可的开源桌面 AI 智能体，基于 Electron、React 与 TypeScript 构建。它内置 ZhiYuan 免费模型（需联网，额度在应用内显示），也可通过 llama.cpp 运行时下载并运行本地 GGUF 模型，并支持调整上下文长度、GPU 分配和线程数。智能体可读写文件、执行命令、借助 Playwright 连接器操作浏览器，生成 PPT、Word、PDF、Excel 等产物；可从微信、企业微信、钉钉、飞书/Lark、QQ、Telegram、Discord 及邮件（IMAP/SMTP）接收任务，并通过 Experts、Skills、MCP 与定时任务扩展能力。会话、配置和任务元数据保存在本地，工具执行支持「全部允许」与「逐次询问」两种权限模式。