AI 资源库 · 已整理 15 项
查看与本地部署相关的 AI 资讯、工具、Skill、工作流和开源项目。
jakemanger/whatmodel · Find the best AI models you can run
whatmodel 是一个开源 AI 模型榜单工具，将 879 个模型依据 22,113 条已发布基准测试结果汇总为单一评分，并列出每个模型的 API 价格、本地运行所需内存以及运行命令。用户可以在网站或终端按自身电脑配置（内存、显存、是否有独立显卡）与预算过滤模型，覆盖 llm、图像、视频、TTS、STT 等多个类别，支持 LMArena 等基准子集筛选与自定义评分尺度。
mw00/project-maya · Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。
MODSetter/SurfSense · Air-gapped, privacy-focused, open-source NotebookLM alternative. AI agent that researches, transforms, and edits your documents. Join our Discord: https://discord.gg/ejRNvftDp9
SurfSense 是一款开源、隐私优先的桌面应用，定位为 NotebookLM 的离线替代方案。它像 AI 助手一样在你本机索引、检索、转换和编辑文档，索引保存在本地磁盘，可选择本地或远程模型，无需账户。支持 PDF、Word、Excel、PowerPoint、CSV、图片、Markdown、HTML 等格式的带引用研究问答、内容生成与编辑、格式转换，并可生成播客、思维导图、闪卡和测验。所有编辑、转换和 PDF 操作都会生成新文件，不改动原文件。
AWS 发布了一个叫 Strands Decider 2B 的小模型，专门用来替 AI 做选择题式的判断：它不写长篇回答，而是从开发者给出的几个选项里挑一个，或者打个分数。原来这类决策模型（比如 TypeSafe 的 Jev）各有方案，AWS 这次基于开放的 Qwen3.5-2B 改造，去掉了生成文字的“嘴”，换成一个只给候选答案打分的小模块，还连带公开了训练数据和脚本。它能在本地跑，例如在 RTX 3090 上决策不到 100 毫秒，M3 MacBook 上小任务中位数约 150 毫秒。对开发者来说，好处是能让 Agent 在调用工具前先检查“该不该做、信息够不够”，并把决定权交给自己；限制是答案被圈死在给定选项里，而且目前还是本地下载版，云端托管版尚未推出。
marthiram4878/norma-ai-agent-platform · Build agentic workflows with long-term memory and RAG to convert data into action.
Norma 是一个可在 Windows 本地运行的 AI Agent 平台，用于把用户保存的文档、笔记和目标连接成自动化数字工作流。它通过 RAG 从本地文件中检索信息、以长期记忆记录偏好，并由 Agentic 工作流把大目标拆解为可执行步骤并自动完成。适用于文档摘要、清单生成等知识驱动任务的自动化。
doodersrage/castcut · Local AI character filmmaking with ComfyUI — create consistent characters, scenes, images, and short films.
Castcut 是一个基于 ComfyUI 的本地化 AI 角色短片创作工具，围绕 Cast → Look → Outfit → Day → Cut film 的工作流，帮助用户生成角色一致的图像、场景与短视频。它支持 FLUX、Qwen、WAN、Hunyuan、LTX 等 40 余种 ComfyUI 图像与视频模型，提供提示词生成、Inpaint、Outpaint、Compose、工作流编辑、Gallery 管理等工具，并以桌面安装包（macOS/Windows/Linux）与 Docker 镜像形式分发。
enderjnets/Eko-AI-RealEstate · Eko AI Realtors — the on-prem AI agent for real-estate offices. WhatsApp 24/7 + lead capture + intent classification + visit booking + post-visit follow-up. Runs 100% on the customer's hardware (or their VPS) with Kimi 2.6 + MiniMax 2.7 fallback. The customer-facing product sold by Eko AI.
Eko AI Realtors 是一个面向房产中介机构的客户接待型 AI 智能体，以单办公室、单套自托管 Docker Compose 部署的方式运行，客户数据保留在自有数据库中。它通过 WhatsApp、邮件和 SMS（Twilio）全天候接待 inbound 线索，自动完成线索结构化采集与意图分类（rent / buy / valuation），提取区域、预算、房型与紧迫度，并支持英语和西班牙语双语回复。系统提供中介仪表盘，可查看会话、人工接管、使用 AI 建议草稿回复并管理看房；通过 Cal.com 集成实现时段查询、预约与确认（含开发用模拟模式）；通过 RESO Web API 接入 MLS/IDX 房源，在 /properties 浏览并按线索意图、区域与预算自动匹配，还可在对话中推送匹配房源。它支持看房后 24 小时 / 72 小时 / 7 天自动培育与看房提醒（人工接管后跳过），为每条线索计算 0-100 优先级评分并生成每日热门线索摘要，还可通过 Settings 页面自定义机构名称、人设、问候语、语言与营业时间。LLM 采用云端 Kimi 2.6 为主、MiniMax M2.7 为备，并以 Groq 免费额度作为兜底，均带内联故障切换；Ollama 本地推理为可选附加项，并非必需。
Mubder/kazma · Autonomous AI agent framework — LangGraph brain, swarm orchestration, Arabic-first, with human-in-the-loop safety.
Kazma 是一个开源的自主 AI 智能体框架，以 LangGraph 作为核心大脑，提供群体编排（swarm orchestration）、认知记忆引擎、文档智能处理以及三重人工介入（HITL）安全审批机制。它支持 Web、TUI、CLI、Telegram、Discord、Slack 等多种交互平台，并兼容 OpenAI、Anthropic、Gemini、Ollama 等多家模型提供方，强调以阿拉伯语为先的本地化支持，以及遇到不确定时暂停、询问或如实失败而非编造答案的行为准则。
Kubalu7600/ai-background-remover-removebg-photoroom · Remove image backgrounds automatically using integrated API support for remove.bg and Photoroom.
这是一个面向 Windows 的桌面软件，利用 AI 自动识别照片主体并去除背景，输出透明背景的 PNG，或替换为纯色背景。支持单个文件与整文件夹批量处理，处理过程完全在本地进行，无需联网，官方简介提到处理速度在两秒内、保留边缘细节，并说明支持 JPEG、PNG、BMP 格式。
daya7781r/miii-cli-offline-coder · Miii-CLI 2026: Zero-Cost Local AI Coding Agent with Ollama – Fully Offline & Private
AgentMIII 是一个本地优先的终端 AI 编程助手，结合类 Claude Code 的交互体验与 Ollama 本地模型能力，可在离线环境下执行代码生成、文件修改与多步骤任务；同时支持切换 OpenAI、Claude 等远程 API 提供商。README 强调无遥测、无云端依赖、零成本本地推理，并给出跨平台兼容性、配置示例与命令行用法。需要注意的是，仓库语言为 HTML、无 License 字段，README 中的安装命令、下载链接、社区地址与 MIT 授权声明等未在仓库元数据中得到确认。
Perplexity 公司觉得用亚马逊 DynamoDB 太贵、读性能不可控，于是让两名工程师带着数百个 AI 编程智能体，花两个月写了一个约四万行的 Rust 键值数据库 CobbleDB，现在已承担部分线上搜索流量。读取延迟从 DynamoDB 的中位 31.4 毫秒降到 5.6 毫秒，p99 从 123 毫秒降到 24.2 毫秒，预计成本至少省 20%，未来计划开源。不过 AI 智能体只帮忙写代码、查问题和跑测试，架构和生产系统仍由两名工程师掌控，没有让智能体直接碰生产数据。对读者来说，这说明 AI 辅助开发让小型团队自建基础设施变得更可行，但长期维护这套自定义数据库的成本和工程投入尚未计入，延迟对比也非同时同流量的严格基准测试。
Google 说，他们现在的技术和产品已经能支持 300 多种语言，覆盖全球 86% 的人口。过去技术只照顾少数大语言，很多小语种和方言在数字世界里几乎不存在。为此，他们一边改进 AI 模型，让机器直接“听懂”语音里的语气、情绪和混着说的多种语言，一边和各地大学、社区合作收集非洲、印度等地的语音数据，还做了能离线运行的小翻译模型。对普通用户来说，以后用母语和 AI 对话、翻译会更自然，网络不好时也能用。
synthalorian/sentryclaw · Self-hosted AI code review bot. No cloud, no API keys. Rust + Axum + local LLMs.
SentryClaw 是一个自托管的 AI 代码审查机器人，通过原生 Webhook 接入 GitHub 与 GitLab 的 PR/MR 事件，使用 llama.cpp、Ollama 或 vLLM 等本地 LLM 后端对代码差异进行审查并回帖评论。项目宣称全程运行在自有基础设施内，无需外部 API Key，支持可插拔模型后端、YAML/TOML 自定义审查规则、自动批准琐碎 PR、Diff 过滤、审查缓存、Prometheus 指标、Web 仪表盘与限流等能力，并给出裸机、Docker、Docker Compose 与 Kubernetes 的部署方式。
JLABUAN/open-agent-sdk-rust · 🤖 Build AI agents in Rust on your hardware for fast, private, and controlled solutions like copy editing, code reviewing, and market analysis.
open-agent-sdk-rust 是一个用 Rust 编写的 AI Agent 开发 SDK，可与 LMStudio、Ollama、vLLM 等本地 OpenAI 兼容服务配合使用，支持流式输出、工具调用、hooks 与重试逻辑，并提供示例帮助开发者构建拷贝编辑、代码审查、市场分析等本地化、私密可控的 Agent 应用。
Perplexity 将其 Computer 智能体的本地版本 Portable Computer 引入 Windows 应用，支持 Nvidia GeForce RTX 和 RTX PRO GPU，但要求至少 24GB 显存。该版本捆绑 PPLX 27B 和 Qwen 3.8 27B 模型，集成浏览器、工具调用和 SPACE 沙盒，并支持 Outlook、Google Drive、Slack、GitHub 等连接器。任务可在本地完成，必要时可升级到云端模型，但需用户授权。