Flutter

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

leehack/llamadart · Cross-platform on-device LLM inference for Dart & Flutter: GGUF via llama.cpp and LiteRT-LM on Android, iOS, macOS, Windows, Linux and web.

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。