Needle：面向微型设备的端侧自动化基础模型

cactus-compute/needle · Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.

GitHub原文发布未知首次收录 2026-09-21上架 2026-09-21 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Needle 是 Cactus Compute 推出的面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧基础模型。整个模型是单个 8-29 MB 的二进制文件，基于 Simple Attention Network，牺牲通用聊天能力，换取在移动端工具调用上超越体积大 10 倍的模型，并在结构化抽取上比肩 2-3 倍大的模型。它支持工具调用、结构化抽取和文本嵌入，逐 token 受字节级语法约束，每次响应附带校准后的置信度分数。项目提供 Python 包、预构建的部署引擎、本地微调工具以及多篇使用指南。

# 基础模型 # 工具调用 # 端侧AI # 结构化抽取 # 模型微调

核心能力与快速开始

★ 11890 · Python

能做什么: 1. 工具调用：给定应用暴露的函数，Needle 挑选正确的函数并从用户话语中填充每个参数；两个请求返回两次按序调用，无对应工具时返回空列表而非猜测。\n2. 结构化抽取：声明一个形状、提供杂乱文本，返回带类型的字段（发票、预订、通知、表单）；解码语法保证输出可解析，抽取可泛化为分类。\n3. 文本嵌入：同一模型为句子返回向量，供应用在本地进行搜索、匹配和路由。\n4. 每次交互返回一个 JSON 对象，包含 function_calls、模型的 reasoning 和校准后的 confidence。\n5. 支持通过 needle.Needle(tools=[...], generation=2) 继续运行 Needle 2 以兼容既有部署。\n6. 本地微调：容量呈阶梯结构，最小 2 层的子网可在更小设备上最优运行；提供 finetune 和 build 命令，本地微调以 4 位训练和导出。\n7. 部署构建：needle build --platform <folder> [--layers N] 获取对应引擎并将权重放在旁边，每个部署目标附带小于 1 MB 的预构建引擎。
适用场景: 适用于手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧自动化场景：如让应用从用户自然语言中自动选择并填充工具参数；从杂乱文本中抽取发票、预订、通知、表单等结构化字段；为本地搜索、匹配和路由生成句子向量；针对单一产品的工具集对小子网进行微调以适配更小的设备；为便携设备构建带工具与模型的离线或内网部署。
项目形态: 模型
部署方式: 提供预构建引擎，可通过 needle build --platform <folder> [--layers N] 按平台拉取；平台文件夹覆盖 macOS ARM64、Linux ARM64 等，并含 CLI runner、C API、浏览器、WASI 等。默认二进制开启遥测，可设置 NEEDLE_TELEMETRY=0 和 DO_NOT_TRACK=1 关闭。
主要依赖: README 提及 pip install cactus-needle；微调需 pip install "cactus-needle[train]"。未说明具体硬件规格、内存占用或操作系统版本。
使用限制: README 明确说明牺牲了通用聊天能力以换取工具调用和抽取能力；微调本地以 4 位训练和导出，2 位后训练与量化依托 Cactus Platform 及其专有数据集；超范围请求返回空列表而非猜测。未说明 API 成本、许可限制或生产环境约束。
许可证: Apache-2.0
最近推送: 2026-09-21 00:02

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-21 07:00 · 卡片整理：2026-09-21 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在移动端或端侧应用中集成工具调用与结构化抽取能力：通过 @needle.tool 装饰器定义函数，模型根据用户输入选择工具并填充参数，agent.run() 执行函数并返回结果；也可声明数据形状从杂乱文本中抽取类型化字段，用于发票、预订、通知、表单等场景。

查看内容依据

Decorate a function: the signature gives the argument types, the docstring is the tool description, and `run()` completes the loop, executing your function and returning its results.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

评估端侧 AI 能力用于产品规划：该模型面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器，支持工具调用、结构化抽取和文本嵌入，可用于判断在本地设备上实现自动化交互与数据抽取的可行性。

查看内容依据

A foundation model for mobiles, wearables, robots, smart home, automotive and microcontrollers.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

decisions-judge-mcp：为 AI Agent 提供结构化决策判断的 MCP 工具

decisions-judge-mcp 是一个 MCP 服务器，让 AI Agent 通过单次快速请求对任意 JSON 应用状态做出类型化判断：yes/no 概率（noul）、多选项选择（choice）以及有序等级评分（score）。问题与答案均按 schema 校验，失败时返回 {fallback: true, error} 而不阻塞，便于嵌入 Agent 工作流。当前由 TypeSafe System One 模型（Jev）通过 @typesafe-ai/sdk 提供支持。

AI-Recruitment-Assistant：基于 n8n 的招聘智能体与人工审批工作流

该项目用 n8n 编排招聘助手智能体，接入 Google Gemini 对话模型、PostgreSQL（Supabase）候选人库与 Gmail，通过工具调用完成候选人搜索、详情查询，以及待审批的状态变更和邮件请求。智能体本身不具备改数据或发邮件的权限，所有写操作以 pending 记录进入待审批表，由独立工作流定时推送给 HR 经理，经 Gmail 审批后才执行；同时提供 Webhook Header Auth、参数化 SQL 与数据库约束等安全措施。

carimbo：面向巴西 NF-e 电子发票的抽取与审批决策 LLM 智能体

carimbo 将巴西电子发票（NF-e）的 DANFE PDF 转为严格类型化的发票记录，并进一步生成可审批/拒绝/升级的判定。项目以可复现的评测套件、确定性校验器、有界修复循环、持久化执行、幂等、追踪与成本归集为支撑，公开每次真实运行的逐案例记录与汇总结果。当前已完成抽取阶段的骨架与带校验的抽取，可重放运行阶段已实现但验证待完成；智能体与持久化执行属于后续里程碑，尚未在路线图内。

deepagentsjs：开箱即用的 TypeScript 智能体框架

Deep Agents 是一个内置完整能力的智能体框架（agent harness），以 TypeScript 包 deepagents 形式发布。它把提示词、工具与上下文管理预先封装好，安装后即可运行一个可用的智能体，并按需定制。内置能力包括：用 write_todos 做任务拆解与进度跟踪的规划能力；read_file、write_file、edit_file、ls、glob、grep 等文件系统工具作为工作记忆；通过 task 派发子智能体以隔离上下文窗口；以及让这些工具开箱可用的默认提示词与中间件。框架与模型供应商无关，可配合支持工具调用的聊天模型使用；createDeepAgent 返回编译好的 LangGraph 图，因此可用流式、Studio、checkpointer 等 LangGraph 特性。支持通过传入 model、tools、systemPrompt 进行定制，并提供 deepagents、deepagents/browser、deepagents/node 等运行时入口。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。