工具与应用01
Spring AI 社区推出了一个新项目 Spring AI TypeSafe,它把 TypeSafe AI 的托管 Jev API 接进了 Spring 生态。平时在 AI 应用里常要快速做一些小判断,比如给客服工单打分、决定该转给哪个部门、评估一段推理结果可不可信,这些用聊天模型做往往又慢又贵,还得写提示词模板和 JSON 解析。TypeSafe 的思路不一样:它不是聊天模型,不生成文字,只做分类、打分和选择。你给它一段状态和一组带类型的问题,它一次性返回布尔值、选项和分数,还附上置信度,大概三百毫秒出结果。项目已发布在 Maven Central 上,版本 0.1.0,附带七个可运行示例;不过部分性能对比数据来自 TypeSafe 自己的基准测试,还需要独立验证。
文中可用工具
- Spring AI TypeSafeSpring AI 社区的新项目,把 TypeSafe 的判断 API 接入 Spring 应用
- TypeSafe AI Jev API托管服务,只做分类、打分和选择,不生成文字
- spring-ai-starter-typesafeSpring Boot 起步依赖,加入后自动配置 TypeSafeClient
- typesafe-spring-aiSpring AI 模块,提供下文提到的 judge 和 advisors
- typesafe-java-sdk纯 Java 环境用的 SDK,不依赖 Spring Boot
- Maven Central托管项目依赖的仓库
Agent 与自动化02
clouatre-labs/decisions-judge-mcp · Typed decisions for AI agents as an MCP tool: yes/no probability (noul), choice, and score in one fast request. Backed by the TypeSafe System One model.
decisions-judge-mcp 是一个 MCP 服务器,让 AI Agent 通过单次快速请求对任意 JSON 应用状态做出类型化判断:yes/no 概率(noul)、多选项选择(choice)以及有序等级评分(score)。问题与答案均按 schema 校验,失败时返回 {fallback: true, error} 而不阻塞,便于嵌入 Agent 工作流。当前由 TypeSafe System One 模型(Jev)通过 @typesafe-ai/sdk 提供支持。
模型与多模态03
cactus-compute/needle · Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.
Needle 是 Cactus Compute 推出的面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧基础模型。整个模型是单个 8-29 MB 的二进制文件,基于 Simple Attention Network,牺牲通用聊天能力,换取在移动端工具调用上超越体积大 10 倍的模型,并在结构化抽取上比肩 2-3 倍大的模型。它支持工具调用、结构化抽取和文本嵌入,逐 token 受字节级语法约束,每次响应附带校准后的置信度分数。项目提供 Python 包、预构建的部署引擎、本地微调工具以及多篇使用指南。