跨栏目检索

搜索归档

搜索中文标题、仓库名或关键词,再用分类、来源和日期缩小范围。

模型与多模态

最近成功采集

Ruzivo AI:面向绍纳语的多模态对话智能系统

recallmabika/ruzivoAI · Ruzivo AI: An end-to-end multimodal conversational intelligence system for ChiShona, featuring parameter-efficient fine-tuning (QLoRA), dense vector retrieval-augmented generation (RAG), and a cross-platform mobile/web client.

Ruzivo AI 是面向津巴布韦绍纳语(ChiShona)的端到端多模态对话系统,采用 QLoRA 参数高效微调低秩适配器、基于教材语料的稠密向量检索增强生成(RAG)以及绍纳语词汇校验与输入防护,并提供 React Native/Expo 移动端与响应式网页客户端。项目还包含基于 FLEURS 绍纳语语音语料的语音识别与合成能力,以及 FastAPI 后端服务和 SQLite 用户认证。

展开详情收起详情:Ruzivo AI:面向绍纳语的多模态对话智能系统

★ 0 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

nurf-ai/ai:跨多家 AI 服务商的多模态 Go 模块,内置真实成本计量

nurf-ai/ai · Multimodal Go AI module with realistic cost tracking, not just tokens.

nurf-ai/ai 是一个 Go 语言模块,用于在多家 AI 服务商之间统一构建聊天、流式输出、推理、工具调用、结构化输出、嵌入、语音转文字、文字转语音、音效、音乐生成、实时语音、内容审核、图像生成与编辑、视频生成等能力。其特色是内置按模型计价器,可估算 token、图像、视频秒数、语音字符与音频时长等真实成本,并通过 models.json 集中维护模型费率与上下文窗口。

展开详情收起详情:nurf-ai/ai:跨多家 AI 服务商的多模态 Go 模块,内置真实成本计量

★ 1 · 开发框架

GitHub
☆ 收藏0 条评论查看项目

Iris Media for DSH:为 DeepSeek Harness 提供多模态媒体生成与视觉理解的插件与 CLI

mokuyoaxis/dsh-iris · Media generation and visual understanding for DeepSeek Harness, with multi-provider routing and the integrated Iris workbench.

Iris Media 是面向 DeepSeek Harness 的多模态生产运行时,以 DSH 插件和独立 headless CLI 两种形式提供图像生成、视频生成(文生视频/图生视频/S2V 数字人)、音乐生成、语音合成与音频转写、看图问答、长图 OCR、目标定位、裁剪、像素差异、视频抽帧与多模态摘要等能力。它通过多供应商模型池按“供应商 + 模型”为每项能力分配候选模型,生成作品由共享 Core 以 Task/Artifact 管理,支持异步任务跟踪、重启恢复与作品导出;内置 Iris 工作台用于配置、任务管理和统计,并在对话输入区提供提示词优化入口。项目提供离线诊断 Doctor、随包三项 Agent Skills 以及多份协议与安全文档。

展开详情收起详情:Iris Media for DSH:为 DeepSeek Harness 提供多模态媒体生成与视觉理解的插件与 CLI

★ 8 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

vision-mcp:为 AI Agent 提供图像理解能力的 MCP 服务器

nirholas/vision-mcp · Let any AI agent see — analyze and describe images through the three.ws vision pipeline. Free NVIDIA NIM VLMs first, with an automatic server-side paid backstop. Pass an image URL or base64 and get a structured, natural-language read. Read-only, no key required.

vision-mcp 是一个基于 Model Context Protocol 的服务器,让任意 AI 助手通过 stdio 获得图像理解能力。传入公开 URL 或 base64 图片,即可进行视觉问答、OCR 读图、图像分类、3D/虚拟形象渲染评价,或生成替代文本(alt text)与说明文字。请求由 three.ws 视觉流水线处理,优先使用免费的 NVIDIA NIM 视觉模型,失败时自动回退到服务端付费模型;调用方无需付费也无需提供密钥,接口只读、会按 IP 限流,可选提供 three.ws API Key 提高限额。

展开详情收起详情:vision-mcp:为 AI Agent 提供图像理解能力的 MCP 服务器

★ 1 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

SatQuery AI:基于证据的多模态遥感卫星图像分析智能体

tvedeshkumar-blip/SAT-QUERY-AI · SatQuery AI is an evidence-based agentic AI for multi-modal remote sensing of Optical, SAR, and time-series satellite data. It picks relevant models, combines evidence, detects evidence conflicts, and starts focused re-analysis for dependable results. The system provides evidence-based, explainable, confidence-aware, and traceable solutions.

SatQuery AI 是一个面向地球观测(EO)卫星图像分析的多模态视觉语言智能体系统,覆盖光学、SAR 与时序卫星数据。它支持单幅图像的地表覆盖 VQA、密集地形描述与像素级视觉定位,支持双时相变化检测与变化 VQA,并可将光学光谱反射与 SAR 微波后向散射进行跨模态融合,以在云层遮挡下区分水体与城市结构。系统提供带任务路由与执行轨迹追踪的智能体控制器,保留 GeoTIFF 坐标参考系与光谱指数(NDVI、NDWI、CIR、SAR dB 滤波)。在模型层面采用惰性加载的专业适配器与显式回退层级(如 Florence-2-base、OWL-ViT、BIT-CD 以及 Gemini 2.5 Flash),并强调不编造指标:未校准置信度明确标注为不可用,每次响应返回模型来源与回退信息。

展开详情收起详情:SatQuery AI:基于证据的多模态遥感卫星图像分析智能体

★ 0 · 研究实现

GitHub
☆ 收藏0 条评论查看项目

base9-quantization:九分之格(base-9)模型量化格式与 llama.cpp 运行时的研究与实现

auRose94/base9-quantization · Base-9 (ninths-grid) model quantization: the K9 codec, measured frontiers vs GGUF/NF4, and a parser-verified Godot 4 coder fine-tune

该项目提出并实现了一种基于九进位数(ninths / base-9)重复基权重量化网格的模型压缩格式,允许熵编码在 2 的幂量化档位之间滑动。仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器,以及在被验证的 Godot 4 解析器语料上训练的编码器微调模型(QLoRA)。README 记录了在 Qwen2.5-Coder 1.5B/7B/14B 上的后训练量化测量结果,包含与 GGUF / NF4 的对比,同时也记录了失败与零结果。

展开详情收起详情:base9-quantization:九分之格(base-9)模型量化格式与 llama.cpp 运行时的研究与实现

★ 0 · 研究实现

GitHub
☆ 收藏0 条评论查看项目

seedance-2-ai:基于 Seedance 2.0 的 AI 视频生成工具

palamas86/seedance-2-ai · 🎥 Generate AI-driven videos with Seedance 2.0, offering precise physics, lip-sync, and prompt accuracy for seamless content creation.

该项目是一个易用的 AI 视频生成应用,据 README 称源自字节跳动(亦称为 Oriental Skylark),支持文本转视频、图片转视频、音频唇形同步以及物理效果模拟,并提供 API 供二次集成。README 将其定位为 Sora、Kling AI 等 AI 视频工具的替代方案,面向营销团队、教育工作者和视频爱好者等希望快速生成视频内容的用户。

展开详情收起详情:seedance-2-ai:基于 Seedance 2.0 的 AI 视频生成工具

★ 3 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

ezjev:训练并评测 Jev 风格带类型决策的 4B 概率模型

everettjf/ezjev · Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.

ezjev 是一个基于 Qwen/Qwen3.5-4B 的 Jev 风格带类型决策模型项目,支持 choice / noul / score 三类决策,并为每个选项输出经过校准的概率。项目包含训练、数据生成与评测流水线,可在 Hugging Face Jobs 或 Colab 上运行,并附带 Jev Decision Index 与 JevBench 两个榜单的提交结果与自测数据。代码采用 MIT 许可,但训练数据与模型权重的许可情况需另行确认,部分数据仅限非商业使用。

展开详情收起详情:ezjev:训练并评测 Jev 风格带类型决策的 4B 概率模型

★ 1 · 研究实现

GitHub
☆ 收藏0 条评论查看项目

StepFun:阶跃星辰公开 API 的第三方档案

api-evangelist/stepfun · StepFun — independent third-party profile of a public API surface, by API Evangelist. StepFun (阶跃星辰) is a Shanghai-based AI foundation-model company whose open platform serves the Step model family — multimodal reasoning (step-3.7-flash), fast language reasoning (step-3.5-flash), vision, image generation and editing (step-2x-large, step-image-edit-

这是 API Evangelist 维护的第三方档案仓库,用于汇总阶跃星辰(StepFun)公开 API 表面的信息,涵盖其 Step 系列模型:多模态推理(step-3.7-flash)、快速语言推理(step-3.5-flash)、视觉、图像生成与编辑(step-2x-large、step-image-edit)等。该仓库本身不包含软件,仅收录文本与机器可读的 API 描述,属于待补充完善的线索型资料集合。

展开详情收起详情:StepFun:阶跃星辰公开 API 的第三方档案

★ 0 · 资料合集

GitHub
☆ 收藏0 条评论查看项目

ReqLLM:Elixir 生态中统一调用多家 LLM API 的可组合客户端库

agentjido/req_llm · Composable Elixir library for LLM interactions built on Req and Finch

ReqLLM 是一个基于 Req 与 Finch 构建的 Elixir 库,将不同厂商 LLM API 的请求与响应标准化,提供统一、符合 Elixir 习惯的调用接口。它受 Vercel AI SDK 启发,提供 generate_text/3、stream_text/3、generate_object/4 等高层函数,内部由 Req 负责请求/响应、Finch 负责流式传输,并通过 provider 回调统一模型元数据、选项与响应格式。根据 README,其模型目录来自 LLMDB,覆盖 21 个已实现的 provider 集成、1,205 个模型,涵盖文本、嵌入、图像生成、语音、转录、重排与 OCR 等操作,同时支持 Ollama 和 LM Studio 本地推理。库还提供结构化输出、工具调用、模型路由 behaviour、评测模型(Jev)等能力。

展开详情收起详情:ReqLLM:Elixir 生态中统一调用多家 LLM API 的可组合客户端库

★ 594 · 开发框架

GitHub
☆ 收藏0 条评论查看项目

ComfyUI-LTXVideo:为 ComfyUI 提供 LTX-2 视频生成自定义节点

Ponlawat/ComfyUI-LTXVideo · 🎥 Enhance video generation with ComfyUI-LTXVideo by leveraging custom nodes for the LTX-2 model, improving your creative workflows today.

ComfyUI-LTXVideo 是一个面向 ComfyUI 的自定义节点项目,借助 LTX-2 模型增强视频生成流程,支持从图像或文本生成视频,并提供分辨率、时长、转场与特效等可调参数以及生成前预览。README 主要介绍安装步骤与图形界面操作方式,面向希望以较低技术门槛制作视频的创作者。

展开详情收起详情:ComfyUI-LTXVideo:为 ComfyUI 提供 LTX-2 视频生成自定义节点

★ 3 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

Strands Decider:面向智能体工作流的快速决策模型

strands-labs/strands-decider · A small, fast decision model, or system one model, for agentic workflows. Pick between options or rate on a scale faster than an LLM, with a calibrated confidence on every decision.

Strands Decider 是一类“系统一”决策模型,不生成自由文本,而是在给定选项之间做选择或对内容按量表打分。它基于 Qwen3.5-2B 主干,去掉语言建模头并替换为约百万参数的指针头,单次前向即可输出答案及置信度,适合智能体工作流中模型路由、工具选择、参数校验、分流和护栏等快速判断场景。项目提供 CLI 与 HTTP 服务两种使用方式,并公开了架构、评测和训练等相关文档。

展开详情收起详情:Strands Decider:面向智能体工作流的快速决策模型

★ 195 · 模型

GitHub
☆ 收藏0 条评论查看项目

Kev:可自行训练与部署的轻量决策模型家族

jaredpalmer/kev · Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own

Kev 是一组基于 Qwen3.5/3.8 构建的小型决策模型(0.8B、4B、9B、27B),用于在同一请求中回答是/否、单选和评分类问题,并输出经校准的概率分布。项目提供预训练权重与本地训练流程,支持在自己的标注数据上微调、在 CUDA/Apple Silicon 上本地推理,并能通过 Modal 一键部署为 HTTPS 端点;其 API 与 TypeSafe System One 兼容,现有 Python SDK 可直接迁移使用。

展开详情收起详情:Kev:可自行训练与部署的轻量决策模型家族

★ 8318 · 模型

GitHub
☆ 收藏0 条评论查看项目

ComfyUI-MiniMaxH3-Director:用于 MiniMax H3 视频生成的时间线编辑器

Shortiaallurement927/ComfyUI-MiniMaxH3-Director

这是一个在 ComfyUI 内使用的视频生成时间线编辑器,面向 MiniMax H3 模型。它支持分镜提示词编排、首尾关键帧设置、图像/视频/音频素材引用、联合音频同步、实时采样预览以及重拍与镜头串联,帮助用户以时间线方式组织和生成连贯视频。项目为 JavaScript 编写,要求预先安装 ComfyUI,未说明是否免费或可商用(README 中许可证信息前后不一致)。

展开详情收起详情:ComfyUI-MiniMaxH3-Director:用于 MiniMax H3 视频生成的时间线编辑器

★ 1 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

Llama:在浏览器中运行 Llama 模型的网页聊天机器人

beeracs/Llama · Run Llama models in your web browser using JavaScript and WebAssembly. Explore light and dark modes easily. 🌐🐱👤

Llama 是一个基于 JavaScript 和 WebAssembly 的浏览器端 AI 聊天机器人项目,用户无需安装即可在现代浏览器中打开页面并与 Llama 模型对话。它提供简洁的聊天界面、多种可选角色以及明暗主题,README 说明其使用 HTML/CSS 构建前端,并借助 WebAssembly 提升运行性能。项目以 MIT 许可证开源,鼓励社区贡献,未来计划加入多语言支持、更强的 AI 能力以及移动端适配。

展开详情收起详情:Llama:在浏览器中运行 Llama 模型的网页聊天机器人

★ 0 · 可直接使用的工具

GitHub
☆ 收藏0 条评论查看项目

MiniMax AI:第三方整理的 MiniMax 多模态生成 API 资料档案

api-evangelist/minimax-ai · MiniMax — independent third-party profile of a public API surface, by API Evangelist. MiniMax is a Chinese foundation model company offering full-stack multimodal APIs: text generation (M2.7, M2.5, M2.1, M2, M1, Text-01), speech synthesis (Speech 2.8/2.6/2.5), voice cloning, voice design, image generation (Image-01), video generation (Hailuo 2.3),

该仓库由 API Evangelist 维护,是一份针对 MiniMax 公开 API 表面的独立第三方资料汇编,而非 MiniMax 官方 API 本身。内容涵盖文本生成(M2.7、M2.5、M2.1、M2、M1、Text-01)、语音合成(Speech 2.8/2.6/2.5)、声音克隆、音色设计、图像生成(Image-01)、视频生成(Hailuo 2.3)与音乐生成(Music-2.6),并附有 OpenAPI 描述、Postman 集合、定价与速率限制等机器可读资料。仓库本身不含任何软件,仅供了解与查阅该 API 的公开文档与规范。

展开详情收起详情:MiniMax AI:第三方整理的 MiniMax 多模态生成 API 资料档案

★ 2 · 资料合集

GitHub
☆ 收藏0 条评论查看项目

VLM2Vec:多模态嵌入模型的统一训练与评测框架

TIGER-AI-Lab/VLM2Vec · This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], and "MMEB-V3" [COLM 2026]

VLM2Vec 是 TIGER-AI-Lab 开源的视觉语言嵌入项目,包含 VLM2Vec 模型及其配套 MMEB、MMEB-V2、MMEB-V3 多模态嵌入评测基准。项目提供基于 Qwen2-VL 等骨干的指令引导对比学习训练流程,支持图像、视频、视觉文档的嵌入学习,并扩展到音频、文本检索与 Agent 类任务;同时提供数据集准备脚本、DDP 评测入口和 YAML 配置方式,用于多模态检索嵌入的研究与基准测试。

展开详情收起详情:VLM2Vec:多模态嵌入模型的统一训练与评测框架

★ 686 · 开发框架

GitHub
☆ 收藏0 条评论查看项目

Needle:面向微型设备的端侧自动化基础模型

cactus-compute/needle · Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.

Needle 是 Cactus Compute 推出的面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧基础模型。整个模型是单个 8-29 MB 的二进制文件,基于 Simple Attention Network,牺牲通用聊天能力,换取在移动端工具调用上超越体积大 10 倍的模型,并在结构化抽取上比肩 2-3 倍大的模型。它支持工具调用、结构化抽取和文本嵌入,逐 token 受字节级语法约束,每次响应附带校准后的置信度分数。项目提供 Python 包、预构建的部署引擎、本地微调工具以及多篇使用指南。

展开详情收起详情:Needle:面向微型设备的端侧自动化基础模型

★ 11890 · 模型

GitHub
☆ 收藏0 条评论查看项目

AlphaGenome API:访问 DNA 序列调控代码解读模型的 Python 客户端

google-deepmind/alphagenome · This API provides programmatic access to the AlphaGenome model developed by Google DeepMind.

AlphaGenome API 是 Google DeepMind 提供的编程接口客户端,用于访问 AlphaGenome 模型。该模型可从 DNA 序列中解读调控代码,支持最长 100 万碱基对序列的多模态预测,输出基因表达、剪接模式、染色质特征和接触图谱等,多数输出可达单碱基分辨率。仓库包含客户端代码、示例和文档,并提供对 Atlas 数据集(全基因组预计算变异效应得分、AVI 评分和特征重要性)的访问,以及用于生成 matplotlib 图表的可视化库。

展开详情收起详情:AlphaGenome API:访问 DNA 序列调控代码解读模型的 Python 客户端

★ 2117 · 开发框架

GitHub
☆ 收藏0 条评论查看项目

YuE2:符号规划与音频统一的音乐生成模型

multimodal-art-projection/YuE · YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.

YuE2 是一个开源音乐生成模型与推理管线,支持根据歌词和风格提示先生成旋律与和弦的符号化乐谱计划,再合成包含人声与伴奏的完整歌曲,同时提供零样本翻唱、乐谱级编辑和面向智能体的音乐编辑技能(yue2-music skill)。项目还发布 MERT2 音乐理解模型、SheetSage2 音频转乐谱模型及 WildSongBench 评测基准。

展开详情收起详情:YuE2:符号规划与音频统一的音乐生成模型

★ 8297 · 模型

GitHub
☆ 收藏0 条评论查看项目