AI 资源库 · 已整理 3 项

端侧AI

查看与端侧AI相关的 AI 资讯、工具、Skill、工作流和开源项目。

Aura-1B:CPU 原生的神经符号混合推理系统

Simonc44/aura-1b · Hybrid neuro-symbolic AI: Llama 3.2 1B + exact math + verified facts — instant CPU-native answers in 807 MB, no GPU. Sealed .aef distribution

Aura-1B 将语言生成、精确数学计算与事实记忆拆分成多个专用模块,而不是让单个小模型包办全部任务。系统以 Llama 3.2 1B Instruct(Q4_K_M,807 MB)为语言核心,配合安全的 AST 数学求值器、TF-IDF+逻辑回归路由器、遗传编程符号专家、DuckDuckGo 联网检索、事实图、PAL 计算、程序化思维(PoT)、逻辑求解器与轻量认知 Agent,在无 GPU 的机器上给出精确且可验证的答案。项目提供 .aef 密封分发格式(含 SHA-256 校验与可选 Ed25519 签名、AES-256-GCM 加密),并支持硬件自动调参。

☆ 收藏查看来源 ↗

Off Grid AI:本地优先的端侧多模态 AI 运行时与 OpenAI 兼容网关

off-grid-ai/OGAD · Off Grid AI — private, on-device AI. Run open models (text, vision, image, voice) locally through one OpenAI-compatible gateway. No cloud, no accounts, no API keys.

Off Grid AI 是一个桌面端本地优先的 AI 运行时与工作室,通过内置的 llama.cpp、stable-diffusion.cpp、whisper.cpp 和 Kokoro,在用户机器上运行开源文本、视觉、图像、语音与语音识别模型,并提供统一的 OpenAI 兼容本地网关(http://127.0.0.1:7878/v1)。免费开源核心包含聊天(文本+视觉+推理模式)、图像生成、语音输入输出、Artifacts/Canvas、带 RAG 的项目、聊天工具与 MCP 连接器、模型目录与 Hugging Face 搜索。Pro 版本额外提供始终在线的端侧「看见/记忆/反思/行动」层,包括屏幕 OCR、日记与实体、回放、会议记录、听写、剪贴板管理与审批队列等,属于付费授权功能。所有推理均在本地完成,不经过官方服务器,无需账号与 API Key。

☆ 收藏查看来源 ↗

Needle:面向微型设备的端侧自动化基础模型

cactus-compute/needle · Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.

Needle 是 Cactus Compute 推出的面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧基础模型。整个模型是单个 8-29 MB 的二进制文件,基于 Simple Attention Network,牺牲通用聊天能力,换取在移动端工具调用上超越体积大 10 倍的模型,并在结构化抽取上比肩 2-3 倍大的模型。它支持工具调用、结构化抽取和文本嵌入,逐 token 受字节级语法约束,每次响应附带校准后的置信度分数。项目提供 Python 包、预构建的部署引擎、本地微调工具以及多篇使用指南。

☆ 收藏查看来源 ↗