AI 资源库 · 已整理 39 项
查看与多模态相关的 AI 资讯、工具、Skill、工作流和开源项目。
jesusroncal94/ai-hub · Lightweight multimodal AI chat interface powered by Claude Code
AI Hub 是一个由 Claude Code 驱动的轻量级多模态 AI 聊天界面，提供多会话管理、标签筛选、三种可保存的界面布局、图片与文档等文件上传与下载、可选的 Whisper 语音输入、模型切换（Sonnet、Opus、Haiku）、工具启停控制以及用户与管理员设置。它使用 Gradio 构建界面，以 SQLite 持久化数据，并通过子进程调用 Claude Code CLI 获取回复。README 中说明该项目为示例项目，不再维护。
tensorflow/tensor2tensor · Library of deep learning models and datasets designed to make deep learning more accessible and accelerate ML research.
Tensor2Tensor（T2T）由 Google Brain 团队与社区开发，是一个汇集深度学习模型和数据集的 Python 库，覆盖数学语言理解、故事问答、图像分类与生成、语言建模、情感分析、语音识别、摘要和机器翻译等任务。它提供 t2t-datagen 数据生成、t2t-trainer 训练评估推理入口，以及命令行切换问题、模型和超参数集，并支持多 GPU 和分布式训练。项目已标记为弃用，仍维护并可接受缺陷修复，官方建议转向后继库 Trax。
wasif-danesh/wasifyai · Wasify AI: one private, local-first app for chat, notebooks over your own documents, images, video, voice and music, running on models on your own computer. Desktop app on Tauri, FastAPI and LangGraph, Mac first. Early prototype.
Wasify AI 是一个可在自己电脑上运行的本地优先 AI 应用，提供聊天助手、基于自有文档的 Notebooks、图像、视频、语音和音乐生成等功能，所有产出集中在一个可语义搜索的库中。底层包含可复用的平台核心（API、LangGraph 代理运行时、模型网关、媒体 Worker 等），每个产品是薄层应用；目前是早期原型，桌面应用优先面向 Mac。
EmpirioLabs-AI/mcp · EmpirioLabs AI remote MCP server: AI models, media generation, web search, batch jobs, GPU Cloud and hosted agents as tools
EmpirioLabs AI MCP 是一个远程 Model Context Protocol 服务器，无需本地安装，可通过 OAuth 2.1 或 API Key 接入 Claude、ChatGPT、Cursor 等 MCP 客户端。它提供 84 个工具，覆盖模型目录查询、文本推理与嵌入、网页搜索与研究、图像/视频/音频/语音/OCR/3D 生成、批处理任务、GPU 云实例与托管 Agent 管理等。只读查询类工具不消耗额度，其余调用按账户预付积分计费。
recallmabika/ruzivoAI · Ruzivo AI: An end-to-end multimodal conversational intelligence system for ChiShona, featuring parameter-efficient fine-tuning (QLoRA), dense vector retrieval-augmented generation (RAG), and a cross-platform mobile/web client.
Ruzivo AI 是面向津巴布韦绍纳语（ChiShona）的端到端多模态对话系统，采用 QLoRA 参数高效微调低秩适配器、基于教材语料的稠密向量检索增强生成（RAG）以及绍纳语词汇校验与输入防护，并提供 React Native/Expo 移动端与响应式网页客户端。项目还包含基于 FLEURS 绍纳语语音语料的语音识别与合成能力，以及 FastAPI 后端服务和 SQLite 用户认证。
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
privacydied/discord-llm-chatbot · Discord bot that integrates LLMs with multimodal capabilities including text chat, voice synthesis (TTS), speech recognition (STT), image analysis (VL), web content extraction, and RAG. The bot connects to Discord and processes messages through a central router that intelligently routes different input modalities to appropriate handlers.
基于 discord.py 2.x 的生产级 Discord 机器人，通过中央路由器处理文本聊天、RAG 检索、图像理解、OCR、语音合成与识别、网页与 X/Twitter 内容提取等多种输入模态。文本生成可接入 OpenAI/OpenRouter、NVIDIA NIM 或本地 Ollama，RAG 使用 ChromaDB，语音使用 Kokoro 与 faster-whisper/whispercpp，并提供图像/视频生成、记忆与服务器存档、Prometheus 指标等运维能力。
hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input
FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。
whitecircle/rise · RISE: Red-teaming via Iterative Strategy Evolution (NeurIPS 2026)
RISE 是面向文生图模型的红队测试研究实现。它不逐个优化攻击提示词，而是让一个提示词生成 LLM 在自然语言「策略」层面做岛屿模型进化搜索，用策略所生成提示词实际绕过目标模型的图像效果来打分，并结合 VLM 评审按给定准则评价每张生成图。仓库包含完整流水线、三类类别（裸露、自残、图文暴力）配置、针对论文中多个生产级目标模型及更新版本的配置，以及本地 FLUX.2 测试床；但未包含搜索发现的攻击策略、生成图像和关键类别评审准则。
embodiedreasoning/ERQA · Embodied Reasoning Question Answer (ERQA) Benchmark
ERQA 是 Google DeepMind 随 Gemini Robotics 发布一并开源的多模态具身推理评测基准，聚焦真实世界场景中的空间推理与世界知识，尤其是机器人情境。题目由图像与文本交错的单选题构成，答案以 A/B/C/D 单字母给出，共 400 道题，以 TFRecord 格式提供。仓库附带数据加载示例，以及一个轻量级评测脚本，可调用 Gemini 2.0 或 OpenAI 的多模态 API 在 ERQA 上作答并评估。
palamas86/seedance-2-ai · 🎥 Generate AI-driven videos with Seedance 2.0, offering precise physics, lip-sync, and prompt accuracy for seamless content creation.
该项目是一个易用的 AI 视频生成应用，据 README 称源自字节跳动（亦称为 Oriental Skylark），支持文本转视频、图片转视频、音频唇形同步以及物理效果模拟，并提供 API 供二次集成。README 将其定位为 Sora、Kling AI 等 AI 视频工具的替代方案，面向营销团队、教育工作者和视频爱好者等希望快速生成视频内容的用户。
YogurtJ/pivane · Self-hosted web workspace for the Pi coding agent on desktop, tablet & phone: subagents, scheduled tasks, MCP, memory and a bring-your-own image/video/speech lab. 自托管 AI 编程 Agent 网页工作台：多 Agent、定时任务、MCP、记忆与多媒体，电脑/平板/手机随时接着用。
Pivane 是面向 Pi 编程 Agent 的自托管 Web 工作台，可在桌面、平板和手机的浏览器中使用。它在自有机器上运行 Pi 原生运行时并读写 Pi 的会话文件，提供流式回复、工具调用、文件差异、Shell 命令、任务引导与上下文压缩等界面；支持多 Agent 协作（子 Agent、侧边对话、线程间消息、cron 定时任务）、带长期记忆的助手配置、文件浏览与预览、Pi 包/技能/扩展与 MCP 服务器管理、多模型提供商接入，以及自带图像、视频、语音服务密钥的多媒体实验室和输入/朗读能力。项目为单用户个人实例设计，凭访问令牌保护，会话记录使用 Pi 原生 JSONL 格式。
api-evangelist/stepfun · StepFun — independent third-party profile of a public API surface, by API Evangelist. StepFun (阶跃星辰) is a Shanghai-based AI foundation-model company whose open platform serves the Step model family — multimodal reasoning (step-3.7-flash), fast language reasoning (step-3.5-flash), vision, image generation and editing (step-2x-large, step-image-edit-
这是 API Evangelist 维护的第三方档案仓库，用于汇总阶跃星辰（StepFun）公开 API 表面的信息，涵盖其 Step 系列模型：多模态推理（step-3.7-flash）、快速语言推理（step-3.5-flash）、视觉、图像生成与编辑（step-2x-large、step-image-edit）等。该仓库本身不包含软件，仅收录文本与机器可读的 API 描述，属于待补充完善的线索型资料集合。
verl-project/verl-omni · Multimodal RL training framework for diffusion & omni models
VeRL-Omni 是构建在 verl 之上的通用强化学习训练框架，专注于多模态生成模型的后训练。它覆盖扩散生成模型（图像、视频、音频，如 Qwen-Image、Wan2.2）、统一多模态理解与生成模型（如 BAGEL、HunyuanImage-3.0）以及全模态模型（如 Qwen3-Omni）。框架提供基于 vLLM-Omni 的快速多模态 rollout、多奖励与异步奖励服务、可选的 VeOmni 与 FSDP2 训练后端，以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成，并支持 Ascend NPU。
lpalbou/AbstractFlow · Diagram-based, durable AI workflows for AbstractFramework. A visual editor inspired by UE4 Blueprints with drag-and-drop nodes, portable .flow bundles, recursive subflows, and multi-agent orchestration. Gateway-first architecture.
AbstractFlow 是 AbstractFramework 的可视化工作流编辑器，以类似 UE4 Blueprints 的拖拽节点方式搭建可持久化的 AI 工作流。它作为 Web 包运行浏览器编辑器与小型 Node 服务器，通过 Gateway 代理完成用户、会话、运行时路由、提供商配置、工作流存储与执行；支持便携 .flow 包、递归子工作流与多 Agent 编排，并提供 LLM 调用、Agent、多模态媒体生成、文件与 PDF 读写等节点，以及由模型驱动的 Workflow Authoring Assistant。
Featherless 是一家提供无服务器推理服务的公司，它发布了一个叫 Simple Jev 的开源库，能把开源 AI 模型变成高速的“零样本分类引擎”。原来的问题是，很多开发者用超大的前沿模型去干分类这种简单活，比如判断一张图片或一段文字属于哪一类，既慢又贵，就像开坦克送披萨。Simple Jev 不让模型写长篇回答，而是直接读出它对各个选项的打分并给出概率，因此更快、更省算力。开发者可以用免费公共接口试玩（限制 2000 词上下文、每秒 2 次请求），生产环境起步价每百万输入 token 0.03 美元，输出免费；目前视觉分类仅支持 Gemma 或 Qwen 模型。
pilotgetup855/bbshare-skills · Open‑source AI agent skills for Claude Code and Codex, covering video creation, short‑form production, downloading, Xiaohongshu content, and AI content workflows.
bbshare-skills 是一组面向 Claude Code、Codex 及其他兼容 AI Agent 的可复用开源 Skills，聚焦视频创作、短视频生产、视频下载、小红书内容和 AI 内容工作流。仓库包含四个独立技能目录：bbshare-video 负责从主题生成 HTML 幻灯片、旁白、TTS、字幕、背景音乐并合成 MP4 讲解视频；book-account-video 面向抖音 / TikTok 风格读书账号短视频，包含口播稿、人工审核、TTS 与字幕同步；video-download 基于 yt-dlp 下载抖音及受支持平台视频并自动选择清晰度与合并音频；xhs-food-card 生成 3:4 竖版小红书美食卡片，含食材、步骤、热量估算和发帖文案。每个技能以独立目录维护，含 SKILL.md，可单独安装、修改与版本管理，设计上强调可复用、可检查、可迭代以及人机协作。
谷歌在 Gemini Enterprise 里上线了带 Live Avatar 的 Gemini 3.8 Live。过去企业用的语音助手只闻其声，听不到也看不到用户。这次把接近实时的视频生成和语音结合起来，数字人能一边听、一边看、一边说，嘴型对得上，表情自然，还能在对话时在后台调用工具查数据。企业可以拿它做客服或导览；它支持 97 种语言切换，输出带不可见水印 SynthID。定制专属形象目前只对企业白名单开放。
ada994/prism-bench · 🌐 Benchmark models using the PRISM framework and access the FLUX-Reason-6M dataset for improved AI performance evaluation.
prism-bench 是论文《FLUX-Reason-6M & PRISM-Bench: A Million-Scale Text-to-Image Reasoning Dataset and Comprehensive Benchmark》的官方资源仓库，提供百万级文本到图像推理数据集 FLUX-Reason-6M 和 PRISM 基准评测工具，用于评估和改进 AI 的文本到图像推理性能。README 主要描述如何从发布页下载运行应用，并列出数据集访问与基准分析等特性。
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。