AI 资源库 · 已整理 41 项
查看与Rust相关的 AI 资讯、工具、Skill、工作流和开源项目。
idataconnect/outturn · A fast, secure Rust foundation for multi-tenant agent platforms
outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。
rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)
rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。
YOLOW92/pagesift · High-performance, memory-efficient Rust web crawler & content extraction engine for AI agents and RAG. Adaptive crawling, clean Markdown, structured data, PDF/RSS parsing, browser rendering, Firecrawl-compatible APIs, and Python/Node.js SDKs.
PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
Cognilogical/NeuroStrata · Cognitive Memory Architecture for Agents
NeuroStrata 是一个用 Rust 编写的单二进制程序，内置图与向量存储（LadybugDB），为 AI 编程 Agent 提供跨项目和跨会话的持久记忆。它用二进制层级的强制校验机制约束工作流程：目标进入 done 状态前必须产出一条已记录的经验；规则以记忆记录形式存储在命名空间中，并在动作执行前做语义匹配校验，可选用 podman 网络隔离容器进行 dry-run；团队记忆通过普通 git 传输，无需托管 API 或消息代理。默认全本地运行，嵌入模型可选本地 fastembed 或远程 OpenAI 兼容端点，缺失密钥时 fail-closed。
Cloudflare 优化了其内部负载均衡服务中一致性哈希的 Rust 实现（pingora-ketama），把这项服务占用的内存减少了 100 TB 以上。原来的问题是：每个后端服务器要在哈希环上保存很多哈希条目，条目越多占用内存越大。这次的做法是压缩哈希环上的条目，并通过统计分析哈希分布和冲突率，把每个后端所需的哈希数量减少了约 90%。对读者来说，这说明大规模系统里看似不起眼的数据结构优化，也能省下巨量内存资源。
oxc-project/tsrs · Rust port of the TypeScript 7 type checker
tsrs 是 TypeScript 7 编译器和语言服务器的 Rust 实现，可作为替代品使用，目标是与上游 TypeScript 达到 100% 一致性，同时降低内存占用并加快类型检查。它提供类似编译器的命令行用法（如 --noEmit）、编辑器集成说明、尚不稳定的 Node API 以及面向 wasm32-wasip1 的 WebAssembly 支持；目前不支持 --init 和 --showConfig。
Cloudflare 正在主导推进 TypeScript 编译器的 Rust 移植版 tsrs，这个项目最初由 Owner.com 发起。原因是微软用 Go 重写的 TypeScript 7.0 在检查大型项目时仍然很吃资源：在 Owner.com 一个 3.7 万文件的后端上，单线程检查就要占用 19 GiB 内存、耗时 80 秒，严重限制了能同时工作的 AI 编程智能体数量。tsrs 声称比 TypeScript 7.0 快约 8 倍、内存占用少 70%，而且微软 TypeScript 团队已共享优化，7.1 测试版本身也快了约 2.5 倍。Cloudflare 强调这不是分叉，语言方向仍归微软；Rust 版更方便编译到 WebAssembly，适合在 Workers 沙箱里运行。目前尚不清楚 tsrs 何时公开发布或开放使用。
Respan 过去两年在 LiteLLM 之上写了十多万行包装代码，结果 2026 年 1 月一次常规升级后出现间歇性连接失败，回滚也没查出原因，只好停止直接升级、逐个挑上游修复。它干脆用 Rust 重写了一个开源 AI 网关：核心很小，模型供应商、路由、MCP 工具、实时语音和安全控制都做成插件，插件按注册顺序依次处理请求，还能在 OpenAI 与 Gemini 等不同协议间转换。代价是自定义插件要编译进网关、需自己维护构建，且插件在网关进程内运行、顺序配错可能让缓存绕过安全检查。目前是 pre-alpha，可从 GitHub 下载预编译程序直接跑，付费平台不是必需。
VeraTools/revera · AI code review for pull requests: a second model re-checks every finding before it posts. Any model provider; App or Action.
Revera 是一个用 Rust 编写的开源代码审查工具，使用用户自行选择的 AI 模型审查 GitHub 拉取请求。它采用调查者与验证者两阶段流程：调查者阅读变更并提出缺陷候选，验证者则在全新会话中重新从代码中独立确认每条发现，才允许发布，以减少未经验证的误报。支持 OpenAI 兼容端点、OpenAI Responses、Anthropic 和 Google Gemini，可为不同角色分别配置供应商与模型，并支持有序的备用模型。可自托管为 GitHub App（支持 @mention 触发、quick/deep 模式）、GitHub Action 或本地 CLI，并能在多次推送间跟踪发现的修复与重开。仅支持 GitHub 作为发布目标，无托管服务，需自行部署并直接向模型供应商付费；README 说明其评估样本较小，仍可能漏报或误接受错误发现，需要人工审查。
codecoradev/cora-code · CLI-first AI code review — BYOK, diff/scan/branch, pre-commit hooks. 100% open source (MIT).
Cora 是一款用 Rust 编写的原生 CLI 工具，面向终端、CI/CD、Git 钩子以及 AI 编程代理场景，提供 AI 驱动的代码审查与代码智能能力。它支持自带密钥（BYOK）接入 OpenAI、Anthropic、Groq、Ollama、Z.AI 等多家模型或任意 OpenAI 兼容 API，并可在未配置大模型时运行确定性的内置规则、安全与密钥检测扫描。功能涵盖 diff/分支/未推送提交审查、提交信息生成、SARIF 输出、质量门禁与质量档位、自定义规则引擎、大 PR 自动分块、多语言代码库符号索引与调用图追踪、混合语义搜索（FTS5 + 向量 KNN + 图 RRF 融合）以及面向 AI 编程代理的 MCP 服务。
bigfish1913/pi-rust · Rust-native, library-first coding-agent runtime and terminal CLI inspired by Pi, with composable LLM providers, tools, sessions, and plugin ABI
rpi 是一个用 Rust 编写的、以库为核心的编码智能体运行时，同时提供基于该运行时的终端命令行工具。它由九个可组合的 crate 组成，覆盖 LLM 提供方适配、可持久化且崩溃可恢复的智能体循环、终端 UI 以及稳定的插件 ABI，因此同一套代码既可作为嵌入式 SDK 集成到自己的进程中，也可作为可直接运行的 rpi 命令使用。该项目支持 Anthropic 与 OpenAI 兼容的模型提供方，并提供确定性的 faux 提供方与内存执行环境以便离线测试；会话以 JSONL 树形结构持久化，支持崩溃后从最后一个已提交帧恢复；插件为 Rust cdylib，通过稳定的 C ABI 进行版本协商；还支持无头服务端加远程 TUI 客户端的远程模式。
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
GitHub 把 Copilot 运行时的 80 多万行代码，从 TypeScript 和 Node.js 换成了 Rust。Rust 是一种运行更快、更省内存的编程语言。他们没停下来重写，而是边跑边换：先用 N-API 让新旧代码互通，再配合自动测试和人工检查，分 128 次小改动逐步完成，大约花了 14.5 周，期间正常发布版本。对用户来说，Copilot 后端未来可能更快更稳；不过文章只提到迁移过程，没有说明实际性能提升了多少。
tapiruslab/TapirusDB · The 100% Safe-Rust Embedded Quad-Model AI Database & Cognitive Memory Engine (SQL, Vectors, GraphRAG, Documents)
TapirusDB 是一个用 Safe Rust 编写的嵌入式数据库引擎，将关系型 SQL、HNSW/IVF 向量检索、openCypher 属性图和 JSON 文档四种数据模型合并到单个 .tapir 文件中，无需 Docker 或后台服务进程。它面向本地 AI 代理、桌面应用和边缘硬件，提供 GraphRAG 混合检索（BM25 + 向量 + 图结构 RRF 融合）、情节式代理记忆、SQL 内嵌的 Tap 决策原语（classify/score/verify/route）、多租户隔离、页级加密以及 MCP 服务端等能力，并提供 Tapirus Studio 可视化 GUI。
WPH666-py/DeepAhead · 新一代多模态智能体 IDE（Rust + Tauri 2 / Vue 3）：DeepKing 同源升级，DSH / DSK / DSA / DSF 四种模式各由厂商原装工作流引擎驱动（DeepSeek Harness / kimi-code / astra-advisor / fable-orchestrator+fablewright），只烧 DeepSeek Token；含执行许可、多模态视觉、Persona 皮肤与插件生态。
DeepAhead 是一款面向开发者的多模态智能体集成开发环境，由 DeepKing 升级而来。底层采用 Rust + Tauri 2，前端使用 Vue 3 + TypeScript，将代码编辑、多模态 AI 辅助、多智能体工具调用、多语言运行、文件解析、版本控制与插件生态整合到同一桌面窗口。项目提供 DSH / DSK / DSA / DSF 四种工作流模式，共享 DeepSeek 运行时可与多模态视觉栈，支持执行许可审批、日志面板、上下文压缩、内置终端、CodeMirror 多标签编辑器、九工具 Agent 循环、多语言一键运行、Office/PDF 解析、Git 集成以及 VS Code 插件市场接入。
Max17190/open-max · Minimal Rust terminal harness for coding. Small, extremely fast, and self-extensible.
Open Max 是一个用 Rust 编写的轻量终端编程 Agent 载体（harness），以单个二进制在项目目录中运行聚焦的 agent 循环，并把每次工具调用流式显示在终端。它内置 list_dir、read_file、write_file、edit_file、glob、grep、bash 七个工具和简短系统提示，支持本地服务器（Ollama、LM Studio、vLLM、llama.cpp）、云端网关（OpenRouter 等）和私有代理，通过 base_url 或 providers.json 中的命名端点切换模型。项目强调基于文件的扩展（TOML 工具、SKILL.md 技能、提示模板、hooks、权限规则）和基于文件的记忆，并提供 --recall 对历史会话、压缩归档、摘要与记忆做流式检索。它包含全屏 TUI 与无头打印模式，会话与配置保存在本地 ~/.openmax/，除配置的模型端点外不主动外联。
reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.
doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。据 README 介绍，其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性，并提供面向非技术用户的图形界面。项目使用 Rust 编写，采用 Apache-2.0 许可证。
rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.
Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。