AI 资源库 · 已整理 4 项
查看与on-device-ai相关的 AI 资讯、工具、Skill、工作流和开源项目。
meteorologicalballoonfronttooth549/tsfm · Provide on-device Apple Foundation Models inference in TypeScript with streaming, structured output, and chat-style APIs for secure, local AI processing.
tsfm 是一个基于 TypeScript 和 Node.js 的工具库，用于在 macOS 26 及以上系统中访问 Apple 的端侧 Foundation Models，实现本地 AI 推理。它支持流式输出、结构化输出与聊天式 API，数据保留在设备本地以保护隐私，可用于构建虚拟助手、语言翻译、文本摘要和定制 AI 工作流等场景。
Nido007-cmyk/Nido · NIDO — your agent, your world. Privacy-first offline personal AI assistant for Android.
NIDO 是一个运行在 Android 手机上的个人 AI 助手，基于 BOAR 项目分支开发，强调隐私设计与本地优先。它通过 llama.cpp（llama.rn）在设备端运行本地 LLM 对话，使用 SQLCipher 和 Android Keystore 加密持久记忆（事实、偏好、人物与日志），并提供笔记、提醒、设备时间、打开应用等不联网的本地工具，以及继承自 BOAR 的本地 RAG 文档索引。项目还包含 think→act→observe 的 Agent 循环、AUTO/ASK/DENY 策略引擎、网络审计日志，以及一套面向 NIDO 设备间通信的 P2P 协议（Ed25519/X25519、握手 v3、心跳、任务协商、能力授权、防重放与 SHA-256 分片校验）。项目处于 Alpha 阶段，1985 项自动化测试通过，双设备端到端体验尚未验证，部分模块（定时任务、知识图谱、双模型路由等）已实现但未接入运行时，另有多个研究概念未实现。
AceGuru-mjh/Android-Guru-Agent · 🤖 An autonomous AI agent that lives entirely on your Android device — 109 tools · PRoot Ubuntu terminal · bionic memory (cs-mem) · BYO-LLM. No server. No PC.
Android Guru Agent 是一个开源的 Android 端自主智能体应用，将完整的智能体闭环放在单台手机上运行，无需服务器或 PC。它通过 OpenAI 兼容流式接口接入任意 LLM（含局域网 Ollama 等 BYO-LLM 方式），提供 6 种执行模式与 109 个内置工具，覆盖 shell、文件、结构化查询、UI 自动化、浏览器与终端操作。项目在设备上通过 PRoot 沙箱运行 Ubuntu 24.04 终端（原生 PTY 与自研 VT100/ANSI 模拟器），并实现仿生认知记忆（差分摄取、轨迹蒸馏为 FSM、旁路回放、梦境巩固）与 Root/Shizuku/无障碍三级权限链，配合插件化 SDK 与技能市场扩展能力。
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。