跨栏目检索

搜索归档

搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。

推理与部署

最近成功采集
更多筛选 标签、来源与日期
重置筛选
2 条结果 / 第 1 页
每日归档
26 条27 条36 条40 条34 条48 条26 条28 条43 条52 条51 条39 条34 条28 条更早内容可通过日期筛选或翻页查找。
当前筛选：2026-10-28 ×
推理与部署

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

leehack/llamadart · Cross-platform on-device LLM inference for Dart & Flutter: GGUF via llama.cpp and LiteRT-LM on Android, iOS, macOS, Windows, Linux and web.

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。

展开详情收起详情：llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理
# gguf# llama-cpp# WebGPU# 本地 AI# Flutter

★ 78 · 开发框架

GitHub
原文发布：未知收录：2026-10-28
☆ 收藏0 条评论查看项目
评论 · 分享第一个看法
推理与部署

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

ggml-org/llama.cpp · LLM inference in C/C++

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

展开详情收起详情：llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎
# 量化# C++# 本地推理# OpenAI 兼容 API# ggml

★ 132561 · 可直接使用的工具

GitHub
原文发布：未知收录：2026-10-28
☆ 收藏0 条评论查看项目
评论 · 分享第一个看法