AI 资源库 · 已整理 14 项
查看与local-inference相关的 AI 资讯、工具、Skill、工作流和开源项目。
ayushh0110/ScreenMind · AI-powered screen memory — captures, analyzes, and lets you search/chat your screen history. Powered by Gemma 4 . 100% local, 100% private.
ScreenMind 是一款 AI 驱动的屏幕记忆应用，通过内容变化检测捕获屏幕截图，使用 Gemma 4 多模态模型在本地完成视觉分析、语音转写与推理，构建语义与关键词混合检索的可搜索历史记录，并支持基于屏幕记忆的对话问答、会议转写总结、Agent 自动化、MCP 集成与数据分析面板。项目强调全部数据与推理留在本机、无遥测、提供敏感信息过滤与静态加密等隐私措施。
kmjtechno/kmj-codebridge · KMJ CodeBridge connects ChatGPT to authorized computers and VPSs through one MCP plugin for secure coding, Git operations, and verified builds and tests. Designed for lightweight agents, resilient connections, and centralized licensing through KMJ Main Platform. Under active development.
KMJ CodeBridge 是一个基于 MCP 协议的桥接工具，把 ChatGPT、Claude 及兼容 MCP 客户端连接到经管理员授权的电脑和 VPS 项目上，用于受限范围内的代码阅读、编辑、Git 操作以及经过校验的构建与测试。它采用网关加设备代理的架构：网关负责认证、策略与任务状态，设备代理只发起出站连接，工作范围限定在管理员批准的项目根目录内，写操作有哈希与前置条件校验，质量门禁只能运行管理员配置的命令，不暴露通用远程 shell。项目主打本地 LLM 优先，通过回环地址上的 Ollama 使用已安装模型进行有界草稿生成，不会自动下载模型或回退到付费云端推理。项目处于活跃开发中的开发者预览阶段，采用 Apache-2.0 许可，需要 Node 24+。
Rxyxs/slm-industrial-gateway · Gateway SLM industrial: motor de inferencia GGUF, herramientas analiticas, guardrails y fine-tuning QLoRA
一个 OpenAI 兼容的 HTTP 网关，围绕面向工业和矿业术语做领域适配的小语言模型（SLM）构建，提供分析工具执行（DuckDB 查询、异常检测、RUL 剩余寿命计算）与安全护栏。仓库包含两条共享领域但代码路径独立的服务：一条是支持工具调用的 OpenAI 兼容聊天网关（多智能体流水线：路由、分析、校验、安全合规），另一条是工厂网关（Plant gateway），接收 MQTT / OPC UA / Modbus / REST 遥测，在 3 秒时限内输出一个经校验的动作，支持边缘到云路由、熔断、提示注入筛查与防篡改审计日志。推理路径可 air-gap 离线运行，并包含离线 QLoRA 微调与批量评测流程。
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。
mthomas100/patrol · A search drone that looks for one missing person's things from words alone, with no internet: four local AI models on one Mac, simulated in MuJoCo. Multi Model Hackathon, SF Tech Week 2026.
Patrol 是一个基于提示词描述的无人机搜索系统原型，面向荒野失踪人员场景：家属描述失踪者携带的物品（如蓝色背包、橙色帐篷、灰狗），无人机据此在无网络条件下自主搜索。系统在一台 Mac 上运行四个本地 AI 模型——Clef-Flash 负责快速判定、Qwen 视觉模型负责语义推理与二次判定、Parakeet 负责语音转文字、Kokoro 负责语音播报，由普通代码负责飞行与安全约束。无人机与山坡场景在 MuJoCo 中仿真，项目声称已完成实时飞行演示，3 件物品全部找到且无误报，但项目自述这些结果仅证明行为在仿真中有效，不代表真实环境的检测率。
manasIO/Engineering-Knowledge-Agent · Autonomous RAG agent designed to ingest technical documentation, perform local semantic search, and synthesize engineering insights.
该项目是一个轻量的工程知识检索系统，把内部技术文档切分为文本块并用 SentenceTransformers（all-MiniLM-L6-v2）生成向量，写入持久化的 ChromaDB 向量库，再通过语义与关键词混合检索选出与问题最相关的片段，组装成提示交给本地或托管的 LLM 生成有依据的答案。项目强调隐私优先的本地推理（可对接 Ollama、llama.cpp 等）、分块与上下窗管理、以及仅基于检索内容作答以降低幻觉，适合用于内部文档搜索、运维手册与 SRE 剧本等知识密集型场景。
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
yzfly/edgejev · 离线可用的本地类型化决策：4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev
EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。
liveryalpineanemone2431/DeepSeek-v4-Flash-One-DGX-Spark · Run DeepSeek V4 Flash 0731 with EXL3 and DSpark speculative decoding on a single NVIDIA DGX Spark (GB10, 128GB).
该项目面向单台 NVIDIA DGX Spark（GB10，128GB）平台，提供运行 DeepSeek V4 Flash 0731 的打包方案，结合 EXL3 量化与 DSpark 投机解码以提升本地推理性能。仓库 README 主要以 Windows 下 exe 安装向导形式介绍下载、安装、首次配置与聊天使用流程，并声明安装后全部本地运行、无需联网。需要说明的是，README 中的硬件要求（Windows 10/11、16GB 内存、50GB 磁盘）与仓库元数据描述的 DGX Spark（GB10）定位存在不一致，实际部署条件、依赖与限制以官方仓库为准。
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.
laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件，用于在设备端运行「类型化决策模型」（.laya 文件），据称单次决策耗时约 7–14 毫秒，无需 PyTorch 等重型依赖，也不依赖云端 API，强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。
Wizapply/OpenGeekLLMChat · 日本語のギークのためのllama.cppローカルLLMチャットブラウザクライアント。
OpenGeekLLM 是一个以浏览器为界面的本地 LLM 聊天应用，通过启动 llama.cpp 的 llama-server 子进程完成推理，数据默认保留在本地、不向云端发送。它在聊天之外集成了 Agentic RAG、DuckDuckGo 联网搜索、服务器文件读写、Google Drive 读写、可选的外部 LLM 兜底，以及把 PDF 或网页经 OCR / HTML 清洗后自动登记进持久 RAG 的能力。项目强调精简依赖与易改造：服务端为单个 server.js（仅 express 与 ws），前端为单页 React，无需构建工具。