LM-Chat：在 NVIDIA Omniverse 中通过对话操控与生成 OpenUSD 3D 场景的空间 AI 助手

Orlandho/LM-Chat · (STILL IN DEVELOPMENT) NVIDIA Omniverse extension that implements a Spatial AI Agent. It allows creating and manipulating 3D environments (OpenUSD) via chat using local LLMs (LM Studio) or external APIs, featuring real-time code self-healing capabilities.

GitHub原文发布未知首次收录 2026-10-02上架 2026-10-02 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

LM-Chat 是一个仍处于开发中的 NVIDIA Omniverse 扩展，作为空间 AI 智能体与神经副驾驶集成在 Omniverse 生态中，将对话式大语言模型与 3D OpenUSD 场景描述连接起来。它提供原生 Omniverse GUI（omni.ui）可停靠聊天窗口，以及面向自动化和 CI/CD 的 CLI 交互 REPL 与无头执行入口。支持本地推理（LM Studio、Ollama、vLLM）与云端/混合 API（Google Gemini、OpenAI、Anthropic，使用标准 OpenAI API 格式）的多供应商路由，并具备 OpenUSD 场景上下文序列化、自愈式 ReAct 循环（自动捕获并修正运行时 Python/OpenUSD 异常）以及基于 JSON-RPC 2.0 的 MCP 工具调用。用户可通过自然语言生成、模拟和操作复杂 3D 世界，适用于数字孪生创建与自动化管线。

# ai-agent # LLM 路由 # NVIDIA Omniverse # OpenUSD # omni.ui

核心能力与快速开始

★ 1 · Python

能做什么: 提供原生 Omniverse GUI（omni.ui）可停靠聊天窗口，支持流式 Markdown 输出与一键执行代码；提供企业级 CLI（cli/lmchat_cli.py）交互式 REPL 与无头管线执行。通过多供应商推理路由对接本地 LM Studio（:1234）、Ollama（:11434）、vLLM（:8000）以及 Google Gemini、OpenAI、Anthropic 等云端或混合 API。具备 OpenUSD 空间上下文序列化能力，将舞台层级、prim、变换、灯光、材质和物理元数据转为结构化 JSON 供 LLM 感知空间。内置自愈式 ReAct 循环，可自动检测并拦截运行时 Python/OpenUSD 异常（如 Sdf.PathError、Tf.DiagnosticMark），分析回溯并自主修正至可配置重试次数。还提供基于 JSON-RPC 2.0 的 MCP 工具注册，使 AI 可读取设计文档、规格说明和外部数据源。
适用场景: 在 NVIDIA Omniverse Kit / USD Composer / Isaac Sim 中通过自然语言生成、模拟和操作 3D 环境与数字孪生场景；使用企业 CLI 进行自动化提示执行、模型测试和 CI/CD 管线集成；让 AI 在本地隐私（气隙）或云端/混合模式下驱动 OpenUSD 工作流，并借助自愈循环减少脚本运行错误。
项目形态: 可直接使用的工具
部署方式: 作为 NVIDIA Omniverse Kit 扩展运行（扩展 ID：omni.lm_chat，入口模块 extension.py），需在 Omniverse Kit / USD Composer / Isaac Sim 中将仓库根目录添加为扩展搜索路径并启用；也可通过企业 CLI（cli/lmchat_cli.py 或 cli/omni_harness.py）在终端运行。README 称本地推理面向 NVIDIA RTX GPU（RTX 40/50 Series）。
主要依赖: NVIDIA Omniverse Kit 107+、Python 3.10 或 3.11、OpenUSD v23.11+；本地推理涉及的本地模型服务如 LM Studio、Ollama、vLLM；云端或混合推理需要相应供应商 API。
使用限制: README 明确标注项目仍处于开发中（STILL IN DEVELOPMENT）。未说明 API 成本、速率限制、具体硬件最低配置、扩展可用性或商用限制。许可证信息不一致：徽章显示 MIT，仓库元数据为 Apache-2.0。
许可证: Apache-2.0
最近推送: 2026-10-01 18:02

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-02 07:00 · 卡片整理：2026-10-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 Omniverse Kit / USD Composer / Isaac Sim 中通过可停靠聊天窗口或 CLI 用自然语言生成和操作 OpenUSD 3D 场景；自愈式 ReAct 循环可自动捕获并修正运行时 Python/OpenUSD 异常，CLI 支持无头执行用于自动化与 CI/CD 管线。

查看内容依据

Automatic detection and interception of runtime Python / OpenUSD exceptions (`Sdf.PathError`, `Tf.DiagnosticMark`). The agent analyzes the traceback and self-corrects autonomously up to configurable retries.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

UltraGameStudio：面向游戏开发的 AI 编程代理

UltraGameStudio 是一个面向游戏开发的 AI 编程代理，借鉴 Claude Code / Codex / Gemini 的交互形态，专门理解游戏引擎概念，并能在同一会话中生成图像、3D 模型、2D 精灵动画、图集、音频、骨骼绑定和视频等游戏资产。项目内置 40 多个游戏开发专家角色，覆盖 Unity、Unreal、Godot 与 Web 引擎，并支持通过免费或低成本渠道路由请求，将较高成本配额留给关键任务；会话、密钥与历史记录保存在本地。

merx-mcp：为 AI Agent 提供 TRON 链上交易与资源管理的 MCP 工具集

merx-mcp 是一个基于 Model Context Protocol 的服务器，为 AI Agent（如 Claude、Cursor 等 MCP 客户端）提供 TRON 网络操作能力，涵盖 USDT/TRX 转账、代币兑换、余额查询、能量与带宽资源管理、交易模拟，以及描述中提到的 USDT/USDC/USDD 支付与 x402 v2 相关功能，通过单一配置接入即可让 Agent 执行链上任务。

nanoMuse：跨设备开源个人智能体，在你所有设备上执行任务

nanoMuse 是一个开源个人智能体，覆盖 Android、iPhone/iPad、Windows/macOS/Linux 以及浏览器，同一账号下各设备共享会话并可互相派发任务。它能执行实际动作而非只回答问题，可调用 Linux shell、浏览器、MCP 服务器与技能，开启 Hands 后通过屏幕操作手机应用和电脑窗口；在删除、发送、支付等不可撤销操作前会请求确认并支持记住选择；应用关闭后仍可按计划运行目标与例程，并以可读写的 Markdown 文件保存对用户的认识。模型方面可使用社区 relay 的免费额度、十八家供应商的自有密钥（如百炼、OpenRouter、OpenAI、Gemini、DeepSeek）或已有订阅，也可自建 relay 部署在自有服务器上。项目基于 OpenMinis 与 DeepSeek Harness 构建，采用 GPL-3.0-or-later 许可。

Voidmail MCP Email：为 AI Agent 提供服务器可读的收件箱与主人审批的收件人邮件工具

这是一个基于 Model Context Protocol（MCP）的本地邮件工具包，让 AI Agent 创建 @voidmail.ai 收件箱、以结构化数据读取来信，并仅向人类主人已批准的收件人发送邮件，无需电话号码或 CAPTCHA。它通过 agent key 与 owner key 双密钥区分模型权限与主人权限，由 Voidly API 强制执行收件人白名单与内容策略，并对凭据类内容做拦截。仓库提供 19 个 MCP 工具、3 个资源以及可直接调用的 REST API 示例，另附主人侧命令行用于审批、锁定与密钥轮换。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。