TrinityCoordinator：基于小型模型隐藏态路由的 TRINITY 式 LLM 协调器

核心能力与快速开始

★ 77 · Elixir

能做什么

实现 TRINITY 式本地小模型路由：用适配过的 Qwen/Qwen3-0.6B 读取 transcript 提取隐藏态向量，由小型 router head 映射为 agent 与 role logits（隐藏态形状 {1,1024}、路由 logits {1,10}、agent logits {7}、role logits {3}），再经可配置 provider 边界分发到实际 LLM provider；包含 Thinker/Worker/Verifier 编排、角色注入、verifier 终止与验收驱动策略循环、JSONL trace 持久化，以及面向 Wworker/Verifier 顺序的 mock provider 演示。另含 Elixir SVD/SVF 重构建、与 Python 流水线的一致性校验工具、HuggingFace bundle 拉取（逐文件 SHA-256 校验）与本地评测/诊断脚本。

适用场景

在 Elixir/Nx 应用中构建小模型驱动的 LLM 调用路由与多 Agent 编排；对固定 transcript 做路由决策的本地评测与一致性验证；在无 provider 预算的情况下用 mock provider 跑端到端编排与 trace 检查；复现或重新生成 Sakana 适配的 Qwen3-0.6B 运行时产物。

项目形态

开发框架

部署方式

以 Elixir Mix 项目形式在本地运行；支持 CUDA（XLA_TARGET=cuda12）、Apple Silicon（EMLX 或 Emily 后端）与 CPU 路径，具体部署条件未说明。

主要依赖

Elixir 与 Mix；依赖 Nx、EXLA、Bumblebee 及若干 nshkrdotcom 兄弟仓库；需要下载约 624 MB 的适配 Qwen3-0.6B safetensors bundle；CUDA 路径需设置 XLA_TARGET=cuda12；其余硬件与 API 成本未说明。

使用限制

项目处于活跃开发阶段；Python 与 Elixir 的最终 bf16 字节一致性仍属目标而非门禁；实机 provider 调用位于显式开关之后；未知部署条件、硬件与 API 成本等限制材料未说明。

许可证

MIT

最近推送

2026-09-30 09:03

资料检查：2026-10-01 07:00 · 卡片整理：2026-10-05 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为 Elixir/Nx 实现的本地小模型路由器，可用于在开发中把 LLM 调用按对话记录路由到不同 Agent 与角色（Thinker/Worker/Verifier），并通过 provider 边界分发工作；仓库提供 Mix 任务、评测套件与一致性校验工具，便于程序员集成、测试和排错多 Agent 编排流程。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证