推理与部署01
rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.
TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。
推理与部署02
AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。
Agent 与自动化03
dksslq/agent-go · agentlet
agent-go（Debian/Ubuntu 包名 agentlet）是一个用 Go 标准库编写的小型终端 AI Agent，单二进制、无第三方依赖、无 cgo。它连接 OpenAI 兼容的 Chat Completions API，通过 exec、image_read、memory_edit 三个工具实现程序执行、图片读取与语义记忆整理，支持交互式、单次任务和 stdin 管道三种运行方式，并支持会话增量日志的保存与恢复。
推理与部署04
yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.
Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
评测与安全05
metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints
Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。
评测与安全06
joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.
Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。
Agent 与自动化07
baiyuqing/otto · A local-first personal AI agent for research, writing, planning, and coding across terminal, web, Telegram, and Feishu, with memory, skills, and macOS sandboxing.
Otto 是一个用 Rust 构建的本地优先个人 AI 智能体，帮助完成研究、写作、规划、编程和日常事务。它可从终端 TUI/REPL、无头脚本、浏览器 UI 以及通过 otto-connect 接入的 Telegram 和 Feishu 使用，具备持久会话、需人工审核的记忆、可复用技能与插件、工作区文件工具、网页抓取与搜索、MCP 集成、受限子智能体、定时器与带审批和重启恢复的持久工作流。它通过 OpenAI 兼容 API 端点或 ChatGPT 登录接入模型，本地优先指运行时可执行文件、会话历史和默认记忆存储；macOS Seatbelt 默认对 Shell 进行沙箱隔离，文件工具限制在工作区内。
推理与部署08
wisent-ai/brama
Brama 是 Wisent 提供的统一模型访问网关，通过一个 OpenAI 兼容 API 与统一身份接入多个模型提供商与订阅。它支持逻辑别名与 best/fast/cheap 等启发式路由、agent 级订阅选择器（any、any-vision-capable、task:<task-name>）、SSE 流式输出、OAuth 订阅凭据刷新、final-use 密钥兑换（Skarbiec 能力插座或桌面内存凭据映射）以及按 token 归属的审计日志。适用于桌面私有网关、Wisent 服务开发者、Jeden 运行时与运维人员的权限最小化与可审计路由场景。
Agent 与自动化09
AceGuru-mjh/Android-Guru-Agent · 🤖 An autonomous AI agent that lives entirely on your Android device — 109 tools · PRoot Ubuntu terminal · bionic memory (cs-mem) · BYO-LLM. No server. No PC.
Android Guru Agent 是一个开源的 Android 端自主智能体应用，将完整的智能体闭环放在单台手机上运行，无需服务器或 PC。它通过 OpenAI 兼容流式接口接入任意 LLM（含局域网 Ollama 等 BYO-LLM 方式），提供 6 种执行模式与 109 个内置工具，覆盖 shell、文件、结构化查询、UI 自动化、浏览器与终端操作。项目在设备上通过 PRoot 沙箱运行 Ubuntu 24.04 终端（原生 PTY 与自研 VT100/ANSI 模拟器），并实现仿生认知记忆（差分摄取、轨迹蒸馏为 FSM、旁路回放、梦境巩固）与 Root/Shizuku/无障碍三级权限链，配合插件化 SDK 与技能市场扩展能力。