推理与部署01
yzfly/edgejev · 离线可用的本地类型化决策:4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev
EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程:导出 ONNX、做 INT8 量化,并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理,运行时只依赖 onnxruntime、tokenizers、numpy,不需要 torch、API key 或联网,数据不出本机;同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。
推理与部署02
huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.
laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件,用于在设备端运行「类型化决策模型」(.laya 文件),据称单次决策耗时约 7–14 毫秒,无需 PyTorch 等重型依赖,也不依赖云端 API,强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。
Agent 与工作流03
决策模型是一种专门给 AI 应用做“选择题”的模型:它接收应用状态,返回带概率的选项答案,不写文字也不解释理由。TypeSafe AI 最先推出 Jev 以及请求/响应的 schema,随后 AWS 的 Strands Decider 2B、Upstage 的 Solar Decide、Ollama 0.35 等纷纷照搬同一套接口,OpenRouter、Perplexity 也支持同类 choice、noul(是/否)、score 问题类型。这样一来,开发者只要改一个 base URL,就能在不同厂商甚至本地运行的决策模型之间迁移,而不必重写决策逻辑;不过各家在选项上限、置信度算法和答案质量上仍有差异,切换前需要测试。OpenAI 虽在 DevDay 发布了基于 GPT-6 Luna 的 Decisions API,但仍在有限预览,未公布 schema 和价格,尚未加入这套统一接口。
文中可用工具
- Strands Decider 2BAWS 发布的开权重决策模型,在 /v1/systemone 端点按 System One 接口返回决策答案
- JevTypeSafe AI 推出的决策模型,也是 System One API 的原始实现
- Solar DecideUpstage 的托管决策模型,通过 System One schema 提供服务
- Ollama本地模型运行时,0.35 版本新增 /v1/systemone 端点
- OpenRouter模型路由服务,提供 Jev Router 和与 TypeSafe 兼容的 Decisions API 路由
- Perplexity Decisions API托管决策服务,支持 choice、noul、score 三类问题
- OpenAI Decisions APIOpenAI 基于 GPT-6 Luna 的决策服务,仍在有限预览,未公布 schema 和价格
- BifrostMaxim AI 的网关,在 Jev 不可达时把决策转发给 LLM 并以相同格式返回答案
- Strands Agents智能体框架,其 before_tool_call 事件可被用来在工具调用前做决策门控
- TypeSafe SDKTypeSafe 提供的开发包,改 base URL 即可对接任何实现 System One API 的服务器
- SGLang本地运行时,暴露与 System One 相同的接口
- Open-Jev社区构建的决策模型,提供 System One 接口
模型与多模态04
everettjf/ezjev · Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.
ezjev 是一个基于 Qwen/Qwen3.5-4B 的 Jev 风格带类型决策模型项目,支持 choice / noul / score 三类决策,并为每个选项输出经过校准的概率。项目包含训练、数据生成与评测流水线,可在 Hugging Face Jobs 或 Colab 上运行,并附带 Jev Decision Index 与 JevBench 两个榜单的提交结果与自测数据。代码采用 MIT 许可,但训练数据与模型权重的许可情况需另行确认,部分数据仅限非商业使用。