AI 资源库 · 已整理 5 项
查看与llama-cpp相关的 AI 资讯、工具、Skill、工作流和开源项目。
leehack/llamadart · Cross-platform on-device LLM inference for Dart & Flutter: GGUF via llama.cpp and LiteRT-LM on Android, iOS, macOS, Windows, Linux and web.
llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。
lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
ARahim3/DigUp · Search your Mac by what's in your files: photos, PDFs, recordings, videos and code. On-device, built on Google DeepMind's EmbeddingGemma 2.
DigUp 是一款运行在 Apple Silicon Mac 上的菜单栏应用，利用 Google DeepMind 的 EmbeddingGemma 2 多模态嵌入模型，让用户用自然语言描述来搜索本机文件中的内容。它可以索引图片、PDF、文档、音频和视频，把一次查询同时匹配到视频中的某一帧、播客的某一段、PDF 的某一页或截图中的文字，并支持超过 100 种语言的跨语言检索；开启代码搜索后还能按功能描述定位代码。索引与检索全部在本地完成，模型仅在首次下载和每日检查更新时联网。
yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.
Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
dcazrael/llama-model-manager · Personal Linux CLI for managing explicit llama.cpp model presets, downloading and staging GGUF models from Hugging Face, launching llama-server, and running reproducible benchmarks.
llama-model-manager 是一个面向 Linux 的个人命令行工具，用于管理明确的 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试。项目结构精简，包含一个 CLI 入口、若干无依赖的支持模块、一个安装/更新脚本，以及仓库外用户自有的配置文件。