推理与部署AI 资源
llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理
leehack/llamadart · Cross-platform on-device LLM inference for Dart & Flutter: GGUF via llama.cpp and LiteRT-LM on Android, iOS, macOS, Windows, Linux and web.
ELI5：它是什么，解决什么问题
llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。
核心能力与快速开始
★ 78 · Dart
- 能做什么
- 通过统一 API 在 Dart/Flutter 应用中加载并运行 GGUF（llama.cpp）与 .litertlm（LiteRT-LM）模型；支持流式聊天补全、聊天模板、工具调用与 ChatSession 工具循环、多模态 GGUF 投影器、结构化 JSON 输出、嵌入、下一 token 对数概率、LoRA、状态持久化、token 用量与时序统计；实验性语音识别（Qwen3-ASR、LiteRT-LM 流式 ASR）、Qwen3-TTS 语音合成、Laya 风格决策模型；预览阶段的原生端侧文生图；实验性 Flutter Web WebGPU 桥接。
- 适用场景
- 在移动端和桌面端 Flutter/Dart 应用中集成离线可用的本地 LLM 聊天功能；构建带工具调用和结构化输出的端侧智能助手；在设备上完成语音识别、语音合成或文生图等实验性多模态任务；需要在没有推理服务器的场景下部署 GGUF 模型的跨平台应用。
- 项目形态
- 开发框架
- 部署方式
- 作为 Dart/Flutter 包本地集成，原生目标在模型下载到设备后可离线运行；Web 支持为实验性。部署细节以官方文档为准，材料未说明托管服务要求。
- 主要依赖
- Dart SDK >=3.10.7；Flutter 应用需 Flutter SDK >=3.38.0；iOS 部署目标 16.4 及以上，macOS 14.0 及以上；使用方不需要本地 C++ 工具链，原生运行时归档由构建钩子解析。可选 runtime 对硬件有额外要求（如 Apple 图像生成运行时约 37 MB/目标）。
- 使用限制
- Web 支持为实验性；LiteRT-LM 平台覆盖较窄，iOS 上声明下限为 16.4 但实测仅 iOS 18.3.2；LiteRT-LM 仅发布 arm64 iOS 设备与 arm64 模拟器构建，不提供 Intel/x86_64 iOS 模拟器构建；Android 排除已知不安全的 Adreno 750 驱动 2150604839；语音识别、TTS、决策模型、文生图等均为实验性或预览能力，部分平台未验证；工具结果中的图像仅原生 llama.cpp + 视觉投影器 + Hermes 风格模板支持，其他运行时/格式抛出异常。
- 许可证
- MIT
- 最近推送
- 2026-10-28 06:58
资料检查：2026-10-28 07:00 · 卡片整理：2026-10-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。