vision-mcp：为 AI Agent 提供图像理解能力的 MCP 服务器

nirholas/vision-mcp · Let any AI agent see — analyze and describe images through the three.ws vision pipeline. Free NVIDIA NIM VLMs first, with an automatic server-side paid backstop. Pass an image URL or base64 and get a structured, natural-language read. Read-only, no key required.

GitHub原文发布未知首次收录 2026-10-12上架 2026-10-12 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

vision-mcp 是一个基于 Model Context Protocol 的服务器，让任意 AI 助手通过 stdio 获得图像理解能力。传入公开 URL 或 base64 图片，即可进行视觉问答、OCR 读图、图像分类、3D/虚拟形象渲染评价，或生成替代文本（alt text）与说明文字。请求由 three.ws 视觉流水线处理，优先使用免费的 NVIDIA NIM 视觉模型，失败时自动回退到服务端付费模型；调用方无需付费也无需提供密钥，接口只读、会按 IP 限流，可选提供 three.ws API Key 提高限额。

# MCP # multimodal # vision-language-model # image-understanding # nvidia-nim

核心能力与快速开始

★ 1 · JavaScript

能做什么: 提供三个只读工具：analyze_image（按提示词对图像做视觉问答、OCR 读截图、分类或渲染评审）、describe_image（生成自然语言描述，可按 detail 级别与 focus 侧重控制，用于 alt text 或标题）、get_vision_status（报告视觉提供方是否在线及支持的图像格式）。支持 imageUrl（公开 https 地址）或 image（base64/data URI）输入，图片格式为 JPEG、PNG、WebP、GIF，上限 12 MB；maxTokens 范围 16–2048，默认 512。请求优先走免费 NVIDIA NIM 视觉模型，失败时由服务端自动回退到付费模型，调用方无需密钥与付费。
适用场景: 让 AI 编程助手或聊天 Agent 读取截图中的文字、识别图片场景内容、评价 3D 或虚拟形象渲染效果、为图片批量生成替代文本与说明。可通过 npx 直接运行，接入 Claude Code、Claude Desktop、Cursor 等 MCP 客户端，或用 MCP Inspector 查看工具形态；也可用于在界面中先调用状态检查再决定是否显示“描述此图”入口。
项目形态: 可直接使用的工具
部署方式: 通过 npm 安装或以 npx 免安装运行，作为基于 stdio 的本地 MCP 服务器接入客户端；默认调用 https://three.ws，可通过 THREE_WS_BASE 指向自有部署。
主要依赖: Node.js >= 20；需要能访问 https://three.ws（或自定义 THREE_WS_BASE）；可选环境变量 THREE_WS_TIMEOUT_MS（默认 30000 毫秒）与 THREE_WS_API_KEY（用于将限流从按 IP 提升到按用户层级）。
使用限制: 接口为只读，不存储也不修改数据；视觉模型输出具有非确定性，且服务端提供方链路可变，因此工具调用不具备幂等性。endpoint 按 IP 限流。imageUrl 必须为公开 https 地址，私有或回环地址会被拒绝；base64 输入会在本地先做大小检查。
许可证: Apache-2.0
最近推送: 2026-10-11 08:59

项目文档核对 README 依据 ↗

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

通过 MCP 服务器为 AI 编程助手增加图像理解能力，可读取截图中的文字（OCR）、识别场景内容，或评价 3D/虚拟形象渲染效果，辅助排错与技术文档处理。

查看内容依据

the agent can read the text in a screenshot, identify what's in a scene, critique a 3D/avatar render, or write alt-text

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

借助 AI 助手对图片进行视觉问答、分类，并生成替代文本或说明文字，用于整理原型截图或图像素材的说明。

查看内容依据

Natural-language description for alt text or a caption, steerable by detail level and focus.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Multimodal Knowledge Engine：本地优先的可溯源证据引擎，为文档与媒体提供 Agent 可调用的检索与问答

MKE 是一个本地优先、可由 Agent 调用的证据引擎，用于对本地文档与媒体进行摄取、检索和问答。它通过 Source、Run、active Publication、Evidence、Consumer 五层模型管理证据生命周期：只有经过 Run 验证并激活为 Publication 的内容才能被 Search 和 Ask 读取，失败或不完整的处理不会进入检索范围。结果以 mke.evidence_ref.v1 形式携带来源指纹、Publication 版本、Run 和页码或时间戳定位信息。项目同时提供 Python、CLI 和 stdio MCP 三种接口，共享同一应用服务契约，支持文本层 PDF、短视频以及有界直读音频的本地摄取与检索，并支持将已验证的 Publication 导出为 Compiled Library。

SyntaxRAG：面向 AI 代理的本地代码检索 MCP 引擎

SyntaxRAG（SYNRAG）是一个本地代码搜索 MCP 引擎，通过 Tree-sitter 按函数、类、类型等 AST 结构切分代码，在 CPU 上用 FlashRank（TinyBERT）对 BM25 候选重排序，并构建依赖影响图。它提供搜索、文件大纲、仓库地图、影响范围分析、测试定位及受控编辑等工具，以减少 AI 代理定位代码时的 token 消耗；附带安装脚本、CLI、可选的变更监视服务和 Gemini 相关可选功能。

Brito：带代码知识图谱与可审核技能的终端编码智能体

Brito 是一个面向软件开发的编码智能体，提供命令行工具 brito-cli 和 macOS/Windows/Linux 桌面应用。它不依赖逐文件 grep 阅读，而是用 tree-sitter 增量索引构建代码知识图谱（符号、调用、导入），支持 TypeScript/JavaScript、Python、Svelte/Vue/Astro 组件及多种后端语言，可通过 graph_search、graph_callers、graph_impact 等工具快速回答“改这里会影响什么”。它还会保存记忆笔记，并在任务完成后反思生成项目技能，新技能先进入试用期，经多次成功使用后转正，涉及危险命令或修改已批准技能时需用户审批，并提供隐私检查（如拒绝密钥、curl | sh 等）与手动/自动编辑/计划/全允许等权限模式。支持 Anthropic API 或 Claude Code 订阅作为后端，也可接入 OpenAI 兼容端点，并可作为 MCP 服务器向其他客户端暴露图谱、记忆与技能。

Vybe Intelligence Vault：面向 AI Agent 与 RAG 工程的开源知识图谱

Vybe Intelligence Vault 是一个自更新的开源知识仓库，索引 AI Agent、RAG、MCP 服务器、提示词、工具和模板等前沿资料，并宣称通过采集管线、LLM 评估和向量关系构建语义知识图谱。项目提供 MCP 网关供 Claude Desktop、Cursor 等 Agent 直接查询节点上下文，还包含基于 React Three Fiber 和 WebGL 的 3D 知识图谱浏览界面，以及若干 7 天工程学习路径与生产蓝图。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。