omni.ui

LM-Chat：在 NVIDIA Omniverse 中通过对话操控与生成 OpenUSD 3D 场景的空间 AI 助手

Orlandho/LM-Chat · (STILL IN DEVELOPMENT) NVIDIA Omniverse extension that implements a Spatial AI Agent. It allows creating and manipulating 3D environments (OpenUSD) via chat using local LLMs (LM Studio) or external APIs, featuring real-time code self-healing capabilities.

LM-Chat 是一个仍处于开发中的 NVIDIA Omniverse 扩展，作为空间 AI 智能体与神经副驾驶集成在 Omniverse 生态中，将对话式大语言模型与 3D OpenUSD 场景描述连接起来。它提供原生 Omniverse GUI（omni.ui）可停靠聊天窗口，以及面向自动化和 CI/CD 的 CLI 交互 REPL 与无头执行入口。支持本地推理（LM Studio、Ollama、vLLM）与云端/混合 API（Google Gemini、OpenAI、Anthropic，使用标准 OpenAI API 格式）的多供应商路由，并具备 OpenUSD 场景上下文序列化、自愈式 ReAct 循环（自动捕获并修正运行时 Python/OpenUSD 异常）以及基于 JSON-RPC 2.0 的 MCP 工具调用。用户可通过自然语言生成、模拟和操作复杂 3D 世界，适用于数字孪生创建与自动化管线。