LLM

TrinityCoordinator：基于小型模型隐藏态路由的 TRINITY 式 LLM 协调器

nshkrdotcom/trinity_coordinator · TRINITY in Elixir (An Evolved LLM Coordinator): route LLM calls via a small-model hidden-state router + Axon coordination head, with Thinker/Worker/Verifier orchestration and policy loop for acceptance-driven completion.

TrinityCoordinator 是 TRINITY 风格本地小模型路由器的 Elixir/Nx 实现：用量化适配后的 Qwen3-0.6B 读取对话记录，提取隐藏态向量，经路由器头映射到 Agent 与角色 logits，再通过可配置的 provider 边界把选定的工作分发给实际 LLM 提供方，并带有 Thinker/Worker/Verifier 编排与验收驱动的完成策略循环。仓库包含 Elixir 运行时、与原 Python 流水线对比的一致性校验工具，以及从干净 clone 上手所需的 Mix 任务；当前处于活跃开发阶段，在 CUDA 上评测集通过 37/37。

iron-prow：面向 .NET 的 LLM 安全推理网关，统一 provider 选择、防护与容错

iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.

iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。同时包含 IronProw.LMSupply 本地推理安全包装（readiness gate、model-ID preflight、输出长度限制、reasoning 控制），还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。

licai：本地化个人理财全资产看板与市场 AI 问答助手

SnowWarri0r/licai · 本地化个人理财助手 — A股/基金/理财/现金/数字资产/机器人全资产看板 + 市场AI问答 + 个股K线盘口详情 + 板块对比 + 早盘信息简报 + 资讯AI解读。只给客观信息，不荐买卖。

licai 是一个本地化部署的个人理财助手，把 A股、基金、银行理财、现金、数字资产和量化机器人统一装进一个看板，并提供市场 AI 问答、个股详情（K线/盘口/分时）、全市场榜单、板块雷达、全球指数、早盘简报与复盘归因等功能。数据全部存储在本地 SQLite，没有云端和账号；AI 问答挂了约 40 个数据工具，会自行选择工具取数后做客观解读，只给客观信息不给买卖建议。

Memory Indexer：为 LLM 提供基于认知科学的三轴记忆系统

iyulab/memory-indexer · .NET SDK and MCP server implementing a cognitive science-based 3-axis memory system (type x scope x tier) for LLM context management beyond finite context windows.

Memory Indexer 是一个 .NET SDK 与 MCP 服务器，实现以认知科学为基础的「类型 × 范围 × 层级」三轴记忆架构，用于突破 LLM 有限上下文窗口的限制。它提供通用记忆原语，可自动分类与存放记忆、智能召回上下文，并通过缓冲区、短期、长期、归档四层分级与晋升流水线管理信息。项目提供 MCP 服务器（支持 stdio 与 Streamable HTTP）以及可作为 SDK 集成的记忆服务，支持内存或 SQLite 存储，并允许自定义 IMemoryStore 后端。

FluxImprover：面向 RAG 数据管道的 .NET 文档块增强与质量评估库

iyulab/FluxImprover · LLM-powered .NET quality layer for RAG pipelines — enriches chunks with summaries, keywords, QA pairs, and multi-stage quality scoring.

FluxImprover 是一个 .NET 库，作为 RAG 流程索引前的质量保障与增值层。它借助 LLM 对文档块进行摘要与关键词增强，提供带自我反思与评审验证的三阶段块过滤、查询预处理（规范化、同义词扩展、意图分类）、Golden QA 数据集生成、忠实度/相关性/可回答性质量评估，以及上下文后续问题建议。项目通过 ITextGenerationService 抽象与任意 LLM 解耦，内置 OpenAI 兼容接口与 LMSupply 本地模型提供程序，支持多语言文档处理。

an5Tasks：基于 Genkit 的数据库 Schema 问题与 LLM 代码审查任务管理器

an5ORM/an5Tasks · Genkit-integrated task manager for database schema issues and LLM-powered code review task generation

an5Tasks 是一个 TypeScript 任务管理器，用于处理数据库 schema 问题以及由 LLM 代码审查产生的任务。它支持基于正则的快速任务提取和基于 Genkit generate() 的 AI 任务提取两种模式，提供任务的创建、列表和更新工具，并可将这些工具注册为 Genkit 工具供 LLM 进行工具调用。项目中的 Genkit Flow（parseReviewToTasksFlow、aiParseReviewToTasksFlow）可直接把审查文本转换为结构化任务。

test-ci-cd：用 LLM 与图库 API 每小时自动刷新照片画廊

mujammed-04/test-ci-cd · Next.js gallery that refreshes itself hourly — an LLM invents the search prompts, a stock photo API finds the shots, CI republishes the image

一个基于 Next.js 的照片画廊项目，通过 GitHub Actions 每小时自动运行：先随机选择主题，再由 Groq 上的 LLM 生成搜索提示词，调用 Pexels 图片 API 获取照片并写入 gallery.json 提交到 main 分支，随后触发 CI 校验并重新构建镜像发布到 GHCR。项目使用 Next.js 16 App Router、React 19、TypeScript、StyleX 与 Feature-Sliced Design 组织代码，支持多语言路由，图片与提示词来源需标注 Pexels 与 Groq。

Aether Nexus：多智能体编排与自治协作框架

LovaHuguel/Khala-Orchestrator-Core · 🤖 AI Agent Teams 2026: Build & Deploy Autonomous AI Systems 🚀

Aether Nexus（仓库 Khala-Orchestrator-Core）是一个面向多智能体编排的框架，通过“神经治理协议”管理智能体间的通信、冲突解决与资源分配，按任务动态匹配智能体能力并组成临时协作体，支持共识形成、问题分解、多模型混合推理以及 OpenAI、Anthropic 与本地模型（如 llama-3-70b、mixtral-8x22b）的接入。README 还列出研究论文综述、商业战略规划等工作流示例，以及性能、安全合规与实验性特性等描述。

AppBlips：用自然语言描述生成单文件 React 应用与网站的自托管生成器

TechMitten/app-blips · AppBlips is a simple, self-hosted text-to-app generator. Describe your idea in plain English and instantly get a working, single-file React app with a live preview. Skip the complex build pipelines and IDEs—just type a prompt and watch your app get built in seconds, ready to use or export.

AppBlips 是一个可将纯英文描述转换为可运行应用或网站的自托管工具，生成结果为单文件 React 应用，并附带实时预览。它提供 App Studio（交互工具、游戏、仪表盘）与 Website Studio（落地页、作品集、企业站、博客）两种模式，支持纯文本修改、图片参考、AI 助手功能（blip.ai.text）、撤销重做、移动/桌面视图切换、导出单文件 HTML，托管版还可部署到公开 URL（PWA）。底层通过服务端代理调用 OpenAI 兼容的 LLM 接口，支持本地 npm 运行或 Docker 部署。

deepworm：基于 LLM 与网络搜索的深度研究智能体工具

goitno/deepworm · Extract, analyze, and synthesize web data into detailed reports using deep learning without paid APIs or complex setup.

deepworm 是一个帮助用户进行深度研究的 AI 工具，支持连接 OpenAI、Google Gemini、Anthropic Claude 和 Ollama 四家 LLM 服务，并提供 DuckDuckGo 网络搜索集成。它可从命令行使用，也可作为 Python 包调用，旨在无需复杂框架或付费 API 的情况下快速获取聚焦的研究结果。

llm-eval：LLM 提示一致性与稳定性测试工具

wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.

llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。

LLMForge：面向 OWASP VulnerableApp 的真实 LLM 漏洞靶场

SasanLabs/LLMForge · LLMForge is probably the most modern AI vulnerability lab for OWASP VulnerableApp — real-LLM-backed labs for prompt injection, LLM-orchestrated BOLA, and RAG attacks.

LLMForge 是 OWASP VulnerableApp 的 AI/LLM 漏洞模块，是一个故意存在漏洞的 FastAPI 应用，接入现有的 VulnerableApp-facade 生态，提供针对本地真实 LLM（通过 Ollama 运行）的攻防实验套件，而非模拟响应。它覆盖多个渐进难度的实验：提示注入（10 关，目标是提取系统提示中的隐藏密钥）、间接提示注入（4 关，外部内容中的隐藏指令）、LLM 编排导致的 BOLA（医疗聊天机器人，3 关）、RAG 上下文投毒（3 关）与 RAG 敏感数据泄露（4 关）。每个关卡通过声明式装饰器框架定义并标注已知攻击向量与载荷，用于自动生成关卡 UI 和与 facade 兼容的漏洞清单。项目定位为教育与防御性安全研究。

garak：用于探测大语言模型漏洞的安全扫描工具

recetariodmix/garak · 🔍 Discover vulnerabilities in LLMs with garak, a tool that probes for weaknesses like hallucination, data leakage, and misinformation effectively.

garak 是一个用 Python 编写的 LLM 漏洞扫描工具，通过探测幻觉、数据泄露和虚假信息等弱点，帮助识别大语言模型应用中的安全隐患，并生成报告以呈现潜在风险。

llmXive：由大语言模型驱动的科学发现自动化系统

ContextLab/llmXive · llmXive is an LLM-driven system for automating scientific discovery

llmXive 是一个由 LLM 驱动的系统，目标是用来自动化科学发现流程。仓库元数据将其标记为自主系统、LLM 与机器人科学家（robot-scientist）方向。提供的 README 摘录实际描述的是开渠水流中漂浮颗粒拉格朗日粒子追踪（LPT）与粒子追踪测速（PTV）验证实验数据集，包括原始视频、处理后的粒子轨迹、速度数据以及 Python 后处理脚本，采用 CC-BY-4.0 许可发布，用于验证 LPT/PTV 工作流。

AWS 推出 Step Functions 新模式：AI 代理提议航班改签，确定性代码负责执行

AWS 发布新的 Step Functions 模式，让 Amazon Bedrock AgentCore 代理在航班中断后提议新行程和补偿方案，但预订变更与支付等操作必须经过确定性代码验证后才能执行。AWS 同日还发布 Abnormal AI 案例研究，主张代理需要代码执行环境进行计算、数据处理与程序化验证，以补充纯语义推理的不足。

TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎

lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.

TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。

open-agent-sdk-rust：用 Rust 构建本地运行的 AI Agent 开发工具包

JLABUAN/open-agent-sdk-rust · 🤖 Build AI agents in Rust on your hardware for fast, private, and controlled solutions like copy editing, code reviewing, and market analysis.

open-agent-sdk-rust 是一个用 Rust 编写的 AI Agent 开发 SDK，可与 LMStudio、Ollama、vLLM 等本地 OpenAI 兼容服务配合使用，支持流式输出、工具调用、hooks 与重试逻辑，并提供示例帮助开发者构建拷贝编辑、代码审查、市场分析等本地化、私密可控的 Agent 应用。

aigateway：统一管理和路由多 LLM 提供商 API 请求的网关工具

marouchsail/aigateway · Manage and route API requests between applications and multiple LLM providers with per-client keys, configs, and real-time usage tracking.

aigateway 是一个可自托管的 AI API 网关，用于在应用与多个 LLM 提供商之间管理和路由 API 请求。它支持为不同客户端分配密钥与配置、通过 ACL 控制访问权限、指定客户端可用的 AI 模型、设置速率限制和日/月配额，并通过实时仪表盘监控请求量、错误和性能。项目以 Go 编写，README 提供了 Windows 平台的下载、安装与配置说明。

Pi：统一多提供商 LLM API、Agent 运行时与交互式编程 Agent CLI

earendil-works/pi · AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI

Pi 是一个 Agent 工具包项目，包含可直接交互使用的编程 Agent CLI、带工具调用与状态管理的 Agent 运行时，以及统一多家模型提供商（OpenAI、Anthropic、Google 等）的 LLM API。项目还提供带差分渲染的终端 UI 库、遥测契约与独立的应用组合运行时，并说明其不自带权限系统，需要容器化或沙箱来加强隔离。

9Router：为 AI 编程工具提供多供应商路由、自动故障切换与 token 节省的免费 AI 网关

decolua/9router · Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigravity to FREE Claude/GPT/Gemini via 40+ providers. Auto-fallback, RTK -40% tokens, never hit limits.

9Router 是一个可自托管的 AI 路由网关，把 Claude Code、Codex、Cursor、Cline、Copilot、OpenCode、Antigravity 等 CLI 工具统一接到 40+ 供应商、100+ 模型上。它提供 RTK Token Saver 自动压缩 tool_result 内容以节省 20-40% token、订阅额度跟踪、按「订阅→低价→免费」分层的自动回退、多账号轮询、OpenAI 与 Claude 格式互转以及自动 token 刷新，目标是减少限流中断与调用成本。README 还列出了 Kiro、OpenCode Free、Vertex AI 等免费额度的具体条件与变动说明。