推理与部署工具
llama-model-manager：管理 llama.cpp 模型预设与基准测试的 Linux CLI
dcazrael/llama-model-manager · Personal Linux CLI for managing explicit llama.cpp model presets, downloading and staging GGUF models from Hugging Face, launching llama-server, and running reproducible benchmarks.
ELI5：它是什么，解决什么问题
llama-model-manager 是一个面向 Linux 的个人命令行工具，用于管理明确的 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试。项目结构精简，包含一个 CLI 入口、若干无依赖的支持模块、一个安装/更新脚本，以及仓库外用户自有的配置文件。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 管理显式的 llama.cpp 模型预设；从 Hugging Face 下载并暂存 GGUF 模型（含多分片量化）；启动 llama-server（前台彩色状态视图或后台）；查看解析后的 llama-server 调用命令；通过 llama-benchmark 运行可复现基准测试（含 --matrix 矩阵模式）；提供安装/更新脚本，更新时保留用户配置；支持通过环境变量覆盖运行时路径。
- 适用场景
- 在 Linux 上本地运行 llama.cpp 模型；管理多套模型预设并快速切换启动；下载 Hugging Face 上的 GGUF 量化模型；对本地 llama.cpp 模型进行可复现的基准测试。
- 项目形态
- 可直接使用的工具
- 部署方式
- 需在 Linux 上本地安装：通过一行 curl 脚本安装，安装时询问程序安装目录、命令目录与模型目录，并生成用户配置文件 ~/.config/llama-model-manager/config.ini；后续可用 model update 更新。
- 主要依赖
- Linux；Python 3；llama.cpp / llama-server；Hugging Face hf CLI（用于下载）。特定功能还需：fzf（交互式预设选择）、nvidia-smi（NVIDIA GPU 基准测试遥测）、ss（安全监听检测）。Python 代码仅使用标准库。
- 使用限制
- 未说明许可证；未说明硬件或显存要求；未说明模型下载与 API 相关的成本或限制；材料未说明是否可商用；针对个人 Linux 使用场景，README 称项目有意保持精简。
- 许可证
- 未说明
- 最近推送
- 2026-10-03 09:01
资料检查：2026-10-04 07:00 · 卡片整理：2026-10-04 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
在 Linux 上通过 CLI 管理 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试，用于本地大模型开发与性能测试。
查看内容依据
Personal Linux CLI for managing explicit `llama.cpp` model presets, downloading and staging GGUF models from Hugging Face, launching `llama-server`, and running reproducible benchmarks.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。