推理与部署AI 资源

laya-mlx：在 Apple Silicon 上本地运行类型化决策模型的推理引擎

huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.

GitHub原文发布未知首次收录 2026-10-12上架 2026-10-12 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件，用于在设备端运行「类型化决策模型」（.laya 文件），据称单次决策耗时约 7–14 毫秒，无需 PyTorch 等重型依赖，也不依赖云端 API，强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。

# apple-silicon # decision-model # local-inference # on-device # mlx

核心能力与快速开始

★ 0 · Python

能做什么: 在 Apple Silicon Mac 上本地加载并运行类型化决策模型（.laya 文件）；基于 MLX 运行时与 ModernBERT 模型进行本地推理；README 声称平均决策时延约 9 毫秒、峰值约 7 毫秒（整体区间 7–14 毫秒）；完全离线运行，无需联网与云端 API；不需要 PyTorch 等重型依赖；提供无需编程的图形界面操作方式。
适用场景: 需要在 Mac 本地对规则化/类型化决策模型进行快速推理的场景，例如审批类判断、按条件筛选方案、给出建议动作等；对数据不出本机有隐私要求、且希望避免云端 API 依赖的本地决策任务。
项目形态: 可直接使用的工具
部署方式: 本地部署于 Apple Silicon Mac；README 称下载后双击即可运行、下载后无需联网，未提供更多部署方式说明。
主要依赖: Apple Silicon Mac（M1、M2、M3、M3 Max 或更新）；macOS 13 或更高版本；内存最低 4 GB（推荐 8 GB）；存储需 200 MB 可用空间；无需联网。
使用限制: 仅支持 Apple Silicon Mac 与 macOS 13+，未说明其他平台或硬件支持情况；README 中的性能数据（9 毫秒均值、7 毫秒峰值、99.2% 准确率等）来自项目自述，材料未提供可核验的基准细节；未说明模型来源、输入输出格式细节、API 成本或商用条款等；材料未提及实际安装或验证结果。
许可证: Apache-2.0
最近推送: 2026-10-11 15:38

官方入门核对 README 依据 ↗

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

Patrol：离线运行的失踪人员物品搜索无人机系统

Patrol 是一个基于提示词描述的无人机搜索系统原型，面向荒野失踪人员场景：家属描述失踪者携带的物品（如蓝色背包、橙色帐篷、灰狗），无人机据此在无网络条件下自主搜索。系统在一台 Mac 上运行四个本地 AI 模型——Clef-Flash 负责快速判定、Qwen 视觉模型负责语义推理与二次判定、Parakeet 负责语音转文字、Kokoro 负责语音播报，由普通代码负责飞行与安全约束。无人机与山坡场景在 MuJoCo 中仿真，项目声称已完成实时飞行演示，3 件物品全部找到且无误报，但项目自述这些结果仅证明行为在仿真中有效，不代表真实环境的检测率。

EdgeJev：在普通 CPU 上离线运行的本地类型化决策推理服务

EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

ScreenMind：本地化屏幕记忆与检索对话工具

ScreenMind 是一款 AI 驱动的屏幕记忆应用，通过内容变化检测捕获屏幕截图，使用 Gemma 4 多模态模型在本地完成视觉分析、语音转写与推理，构建语义与关键词混合检索的可搜索历史记录，并支持基于屏幕记忆的对话问答、会议转写总结、Agent 自动化、MCP 集成与数据分析面板。项目强调全部数据与推理留在本机、无遥测、提供敏感信息过滤与静态加密等隐私措施。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。