onnx

EdgeJev：在普通 CPU 上离线运行的本地类型化决策推理服务

yzfly/edgejev · 离线可用的本地类型化决策：4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev

EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。