← 返回列表
模型与多模态综合合集

Iris Media for DSH:为 DeepSeek Harness 提供多模态媒体生成与视觉理解的插件与 CLI

mokuyoaxis/dsh-iris · Media generation and visual understanding for DeepSeek Harness, with multi-provider routing and the integrated Iris workbench.

GitHub原文发布 未知首次收录 2026-10-15上架 2026-10-15 07:02

☆ 收藏查看项目 ↗

ELI5:它是什么,解决什么问题

Iris Media 是面向 DeepSeek Harness 的多模态生产运行时,以 DSH 插件和独立 headless CLI 两种形式提供图像生成、视频生成(文生视频/图生视频/S2V 数字人)、音乐生成、语音合成与音频转写、看图问答、长图 OCR、目标定位、裁剪、像素差异、视频抽帧与多模态摘要等能力。它通过多供应商模型池按“供应商 + 模型”为每项能力分配候选模型,生成作品由共享 Core 以 Task/Artifact 管理,支持异步任务跟踪、重启恢复与作品导出;内置 Iris 工作台用于配置、任务管理和统计,并在对话输入区提供提示词优化入口。项目提供离线诊断 Doctor、随包三项 Agent Skills 以及多份协议与安全文档。

核心能力与快速开始

★ 8 · JavaScript

能做什么
1) 媒体生成:图像生成(iris_draw_image)、按 Artifact ID 聊天改图(iris_edit_image)、文生视频/图生视频/S2V 数字人视频(iris_generate_video)、音乐生成(iris_generate_music,输出 MP3/WAV)、文本转语音(iris_speak_text)与音频转写(iris_transcribe_audio)。2) 视觉理解与图像处理:看图问答、会话附件重看、长图 OCR、目标定位并返回像素坐标、裁剪、像素差异与热力图、受限环境下 HTML 截图。3) 视频处理:均匀抽帧与结合画面帧和音频转写的视频摘要。4) 任务与产物:异步任务状态查询、重启后接管远端任务、交付恢复、独立作品库(可重新索引旧 outputs/)、带令牌的媒体播放、浏览器上传/会话附件/宿主路径三种文件输入。5) 模型路由:多供应商有序候选池、按 providerId::modelId 分配能力、能力健康状态显示、有限 502 重试与安全切换策略。6) 工作台与提示词优化:Iris 工作台集中配置与任务管理,对话输入区 🫧 泡泡提供可编辑、预览后写回的提示词优化。7) 工具与诊断:16 个服务端 Agent 工具、三项随包 Skill(iris-use、iris-compose-media、iris-verify-ui)、离线 Doctor 与宿主诊断接口。
适用场景
适合已在用 DeepSeek Harness 的团队为 Agent 增加图像/视频/音乐/语音生成与视觉理解工具链,并通过工作台统一配置供应商与查看任务;也适合在无 DSH 环境中以 headless CLI 完成媒体生成、任务跟踪与作品导出。典型用法包括:按提示词画图后对原图改图、分析产品照生成同构图海报、对上传视频摘要并合成语音、生成配乐、长截图 OCR、截图与参考图比对做界面验收,以及在 DSH 会话输入区直接优化未发送的提示词草稿。
项目形态
可直接使用的工具
部署方式
两种路径:路径 A 作为 DSH 插件安装(dsh plugin --profile web add @mokuyoaxis/dsh-iris@<版本> 后 dsh web,Web UI 默认 http://127.0.0.1:3080);路径 B 为 headless CLI(npm install @mokuyoaxis/dsh-iris,用 npx dsh-iris)。插件按 DSH 原生插件装载,不启动额外服务或监听端口。运行数据默认位于 $DSH_HOME/iris/v1/,CLI 可显式指定 --data-root,同一数据根只允许一个写者。
主要依赖
Node.js ≥ 22(Iris 0.2.x);旧 npm 0.1.4 历史要求 Node.js 20.10.0。DSH 插件路径要求可用的 DeepSeek Harness 环境(Iris 0.2.x 仅支持准确版本 0.2.0-rc.2)以及 PATH 中的 pnpm;CLI 路径仅需 Node.js ≥ 22 与 sharp,视频抽帧/摘要另需系统提供 ffmpeg 与 ffprobe,复用 Core 帧摘要则不需要。需至少一个受支持的媒体或视觉服务供应商及其 Base URL 与 API Key。
使用限制
项目处于早期版本,接口和配置格式可能随版本迭代调整,Core 内部接口尚未冻结为公共 SDK。版本兼容严格:Iris 0.2.x 仅声明支持 DSH 0.2.0-rc.2,DSH 0.2.0 正式版及其他 rc 未列入支持范围;必须使用完整包名 @mokuyoaxis/dsh-iris(无 scope 的同名包属于另一款插件)。sharp 含原生组件,主要支持 glibc Linux、Windows 和 macOS,裸 Termux 等非标准环境可能需额外处理,安装体积约 27MB。HTML 截图不加载远程脚本、字体或图片。WSL、容器和远程部署中浏览器路径通常不能直接交给宿主读取。供应商返回的模型清单只是候选集合,实际能力以真实调用为准。Iris 不提供独立账号体系,多用户隔离与访问控制由 DSH 部署负责;IRIS_TRUSTED_HOSTS 不是认证机制。生成图片、视频、语音或音乐可能产生供应商费用,费用与额度限制未给出具体数值。
许可证
MIT
最近推送
2026-10-14 09:19

资料检查:2026-10-15 07:00 · 卡片整理:2026-10-15 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证

职业应用

程序员

在开发工作中通过 DSH 插件或 headless CLI 调用图像生成、视频生成、音乐生成、语音合成与转写、看图问答、长图 OCR、目标定位、裁剪、像素差异、视频抽帧与多模态摘要等能力,并借助随包三项 Agent Skills 指导单步媒体操作、多步骤创作与界面截图验收。

查看内容依据
Iris Media 是面向 DeepSeek Harness 的多模态生产运行时,以 DSH 插件和独立 headless CLI 两种形式提供图像生成、视频生成(文生视频/图生视频/S2V 数字人)、音乐生成、语音合成与音频转写、看图问答、长图 OCR、目标定位、裁剪、像素差异、视频抽帧与多模态摘要等能力。

官方使用入口 ↗

由 AI 根据来源材料整理,未进行安装或运行验证

产品经理

用于产品界面还原与截图验收:通过 iris-verify-ui Skill 对比当前截图和参考图,定位偏差并给出有证据的结论,区分通过、部分通过、失败和证据不足。

查看内容依据
| [`iris-verify-ui`](.dsh/skills/iris-verify-ui/SKILL.md) | 界面还原与截图验收,区分通过、部分通过、失败和证据不足 |

官方使用入口 ↗

由 AI 根据来源材料整理,未进行安装或运行验证

这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。