AI 资源库 · 已整理 6 项
查看与LLM 路由相关的 AI 资讯、工具、Skill、工作流和开源项目。
sytone/botnexus · BotNexus is an experimental lab for agents, tools, memory, channels, and automation ideas of varying quality written in C# using the dotnet environment.
BotNexus 是一个用 C#/.NET 构建的实验性 LLM 编排沙盒，用于探索多 Agent 协作、通道接入、工具调用、记忆持久化与调度等交互模式。它提供网关路由、WebUI 聊天、多种模型提供方（GitHub Copilot、OpenAI、Anthropic、Azure OpenAI 及兼容端点）、扩展系统与诊断工具，并通过 CLI 完成安装、配置与网关生命周期管理。项目明确定位为实验平台，而非高可用企业级方案。
LangChain 为开源编码 Agent Open SWE 加了一个「模型路由器」，先判断每个请求有多难，再决定用贵模型还是便宜模型。原来所有任务都交给顶级前沿模型处理，很多简单任务白白多花钱；路由器放在 Agent 的 harness 里，因为这里本来就有任务和领域上下文，通用网关没有。结果是每个编码任务的成本中位数降了 64%，质量没有可测量的下降。对读者的用处是：这篇教程告诉你如何理解任务、挑选模型档位，并在自己的 Agent 里也做类似的省钱路由。
slegarraga/llm-sse · Parse streaming responses from OpenAI, Anthropic and Gemini into one unified event format. Text and tool-call deltas. Zero dependencies.
llm-sse 是一个零依赖的 TypeScript SSE 解析库，将 OpenAI Responses、OpenAI Chat Completions、Anthropic Messages 以及 Gemini streamGenerateContent 的流式输出统一为同一组事件：text、reasoning、tool_call_start、tool_call_delta、finish 和 error。它正确处理 SSE 分帧、跨块的多字节 UTF-8、同行分割的数据字段与保活注释，并提供 collectStream 汇总完整消息、toAssistantMessage 生成标准 OpenAI 形状的 assistant 消息，便于在多个提供商之间迁移和组合流式响应。适配 Groq、DeepSeek、OpenRouter、Ollama 等 OpenAI 兼容接口。
Orlandho/LM-Chat · (STILL IN DEVELOPMENT) NVIDIA Omniverse extension that implements a Spatial AI Agent. It allows creating and manipulating 3D environments (OpenUSD) via chat using local LLMs (LM Studio) or external APIs, featuring real-time code self-healing capabilities.
LM-Chat 是一个仍处于开发中的 NVIDIA Omniverse 扩展，作为空间 AI 智能体与神经副驾驶集成在 Omniverse 生态中，将对话式大语言模型与 3D OpenUSD 场景描述连接起来。它提供原生 Omniverse GUI（omni.ui）可停靠聊天窗口，以及面向自动化和 CI/CD 的 CLI 交互 REPL 与无头执行入口。支持本地推理（LM Studio、Ollama、vLLM）与云端/混合 API（Google Gemini、OpenAI、Anthropic，使用标准 OpenAI API 格式）的多供应商路由，并具备 OpenUSD 场景上下文序列化、自愈式 ReAct 循环（自动捕获并修正运行时 Python/OpenUSD 异常）以及基于 JSON-RPC 2.0 的 MCP 工具调用。用户可通过自然语言生成、模拟和操作复杂 3D 世界，适用于数字孪生创建与自动化管线。
Alex314618-create/JevRev · An LLM + Jev workflow that changes EVERYTHING. Boost your vertebrate brain with a spine inside.
JevRev 是一个 LLM + Jev 工作流系统，将工作分为三部分：JevSift 在任务开始时评估多条候选路径并筛选值得投入 token 预算的方向，JevLoop 逐轮审核结果并决定下一步动作（fix / verify / continue / replan / human），JevLong 对长时间多轮任务监测停滞、重复失败、偏移、工具调用问题和预算风险。Jev 负责快速、低成本的决策与过滤，LLM 负责提出并执行工作，二者通过 CLI 与 JSON/JSONL 协议通信，可与 Codex、Claude Code、OpenCode、CI 工作流或自定义宿主集成，并提供交互式 TUI 查看会话与证据。
mrnicholasbcarter-code/verdict-core · Fail-closed LLM routing: cheapest qualified model, named drop reasons, receipts.
Verdict 是一个 Python 编写的 LLM 编排与控制平面：输入一个目标和 git 仓库，先由规划模型把目标拆成小型 DAG 工作节点，再从实时网关证据（模型清单、账号、健康状态、冷却和配额）中构建准入模型集合，为每个节点分配最便宜且合格的路由，在配额、限流、超时或空回答等故障发生时进行同节点故障转移与冷却，并在节点验证、集成校验和独立评审后写入带 SHA-256 摘要的运行回执。它强调封闭失败：没有任何合格候选或重试超过上限时以命名原因 FAIL_CLOSED 并结束为 BLOCKED；被丢弃的候选都有具名理由，不透明的 auto/* 引用不作为候选，付费路由在仍有更便宜合格候选时不会被选中。执行层依赖外部工具 OmniRoute（本地 OpenAI 兼容网关）和 Prime Agent（无头编码 Agent CLI），评审使用 ocr CLI。