推理与部署AI 资源

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

# MCP # llm-inference # local-llm # gguf # openai-compatible

核心能力与快速开始

★ 1803 · TypeScript

能做什么: 本地运行开源权重 LLM（Llama、Gemma、Qwen、Mistral、Phi 等）；底层集成 llama.cpp（含 TurboQuant KV 缓存优化的 fork）与 Apple Silicon 原生 MLX-VLM 引擎，并通过统一的 OpenAI 兼容 API 暴露；支持多令牌预测（MTP）与 DFlash 块扩散投机解码、Flash Attention 开关、推理链上下文跟踪、自动上下文窗口扩展、EAGLE-3 投机解码等推理优化。内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端提供商，可按聊天切换本地与云端模型。工具侧支持一键启动 Atomic Agent、Claude Code、Codex CLI、Cline、OpenCode、Droid、Goose、OpenHands、Copilot CLI、Kilo Code、Zed 等 Agent，连接多个 MCP 服务器，自定义助手系统提示，项目与会话树视图，以及 HTML/CSS/JS 的 Artifacts 实时预览。本地 API 默认绑定 127.0.0.1:1337，可改为 0.0.0.0 在局域网暴露。
适用场景: 希望在个人电脑或移动设备上私密、离线地与大模型对话；使用本地模型驱动编码 Agent、CLI 工具或 IDE 插件；将本地推理作为 OpenAI SDK 的替代服务端供已有应用调用；在本地与云端模型之间自由切换以兼顾隐私与能力；在 Apple Silicon 上通过 MLX 运行视觉语言模型。
项目形态: 可直接使用的工具
部署方式: 提供 macOS（Universal dmg）、Windows（x64 exe）、Linux（AppImage）、iOS（App Store）、Android（Google Play）安装包；也可从源码构建，使用 Node.js ≥ 20、Yarn ≥ 4.5.3、Make ≥ 3.81、Rust（Tauri），Apple Silicon 需 MetalToolchain。核心逻辑位于独立仓库 atomic-chat-core，可作为 CLI（atomic-chat-core serve）或库单独运行。
主要依赖: macOS 13.6+，Windows 10/11 x64，Linux x86_64 且 glibc ≥ 2.35（Ubuntu 22.04+、Debian 12+、Fedora 40+ 等）；内存建议 8GB（3B 模型）、16GB（7B）、32GB（13B）。Linux 上仅支持 GGUF 模型，GPU 加速可选 Vulkan loader；源码构建另需 Node.js ≥ 20、Yarn ≥ 4.5.3、Make ≥ 3.81、Rust。
使用限制: 所有运行速度与内存优化数据来自 README 描述，未在本地验证；部分加速特性有平台限制（DFlash 仅 Apple Silicon，且不能与 MTP 同时启用；MTP 仅在 macOS 与 Windows 可用）；Linux 只支持 GGUF 模型；许可证为 NOASSERTION，具体授权条款未说明；云端提供商需自备 API Key，相关费用与配额未说明。
许可证: NOASSERTION
最近推送: 2026-10-16 22:28

官方入门核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

Toskar Core：为自有硬件提供 OpenAI 兼容 API 的本地 AI 控制平面

Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。

Chiezo：为 AI 提供知识库、记忆与工具调用的自托管服务器

Chiezo 是一个自托管的 AI 资源服务器，把知识、记忆、可对话的 AI、密钥、算力和工具集中在一处对外「出借」。它把 Wikipedia、OpenStreetMap、GeoNames、Overture 等公开数据以及可写入的 notes 记忆索引到按来源独立的 SQLite（FTS5）文件中，通过 MCP（/mcp）和 REST（/v1/...）两种接口供 Claude Code 等 AI 客户端和应用检索；同时可代理保管 API 密钥、转发推理请求、生成图片/音频/视频/语音与文稿，并可选用本地 LLM 做 RAG 或 agent 模式问答。项目本身不做推理，只负责托管调用方无法自持的通用能力。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。