VRAM 优化

Local LLM Foundry：本地大模型运行时加载与模型管理控制台

nmorgowicz-org/local-llm-foundry · AI runtime loader and model-management control center for local LLM deployments.

Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。