MulitiModal：面向按摩椅与日常身心健康场景的中医多模态科研系统

lora-sys/MulitiModal · 多模态人体状态感知 → 中医体质分析 → 智能按摩方案推荐 | OPLRI + TCM + EEG pretrained models · Gradio demo

GitHub原文发布未知首次收录 2026-11-06上架 2026-11-06 07:03

ELI5：它是什么，解决什么问题

MulitiModal 是一个中医多模态参考研究系统，探索证候分类、体质多维评分与按摩前生理状态分析三条研究路线。项目内嵌受 AutoResearch 启发的自主科研实验闭环，支持证候研究线（基于 TCM-SD 中文主诉文本预测 148 类证候）和体质研究线（基于人口学与人体测量特征预测 8 维偏颇体质得分），并提供只读监控仪表盘、冠军模型交付验收脚本和双模式服务演示。项目明确输出仅供健康参考，不构成医学临床诊断依据，不宣称临床疗效。

# 多模态 # 预训练模型 # 中医 # 自主科研 # 体质分析

核心能力与快速开始

★ 0 · Python

能做什么: 围绕中医证候分类与体质多维评分构建两条平行的自主研究线；AutoResearch 框架以单文件突变、外部隔离评测、Git KEEP/REVERT 决策和 results.tsv 证据记录组织实验迭代；提供证候 148 类预测与体质 8 维连续得分预测的基线及冠军模型交付流程；提供只读监控仪表盘和双模式服务演示。
适用场景: 适合中医证候分类与体质评分方向的研究人员参考其实验协议、交叉验证与证据分级设计；可用于演示基于中文主诉文本的证候预测流水线，以及基于人口学与人体测量特征的体质得分回归流程；也适合作为 Coding Agent 受约束自主实验框架的研究案例。
项目形态: 研究实现
部署方式: 未说明；README 仅给出本地命令行启动监控仪表盘、模型交付校验和双模式服务演示的步骤。
主要依赖: 未说明；README 提及 Python、Gradio 相关主题与 TCM-SD、Mendeley 数据集，但未给出硬件、依赖版本或完整环境要求。
使用限制: 全部输出与算法模型仅为科研探索成果，仅作健康参考，不构成医学临床诊断依据，不宣称临床疗效；TCM-SD 数据采用 CC BY-NC-SA 4.0，严格限于非商业科研使用；本地指标标注为 LOCAL_EXPERIMENTAL 与 AGENT_ISOLATION_UNVERIFIED，未经独立可信评价验签与异源复现不得作为正式学术定论；历史 holdout 测试集解锁预算已用尽；体质第 9 维平和质在源数据中未观测，推理端恒定返回 ABSTAIN。
许可证: 未说明
最近推送: 2026-11-06 00:42

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

eqx-zoo：将 Hugging Face 预训练模型移植为经数值验证的 Equinox/JAX 模块

eqx-zoo 提供 Hugging Face 预训练语言模型和句向量模型的 Equinox 模块实现，加载权重后可与 Transformers 或 sentence-transformers 的参考结果进行逐层和端到端数值对齐验证；模型是标准 pytree，可直接使用 jax.jit、jax.grad 和 jax.vmap，并支持将微调后的模型保存回 Hugging Face 格式。

WatchMate：为每位观众生成个性化直播集锦的多模态视频理解 Agent

WatchMate 是一个基于 Meta Muse 系列模型的多模态视频理解 Agent。它能够监控新视频，按 6 秒片段同时分析画面与声音，再通过长上下文推理将整场直播归纳为关键事件。它根据每位订阅者用文字或语音描述的偏好，判断视频是否适合该用户；若适合，则从共享时间线中挑选片段，生成符合个人时长预算的集锦，并对每个片段进行自检；随后用 Muse Image 生成封面，通过 Telegram 推送集锦与摘要，并支持跟进追问（回答、展示片段或重建集锦）。项目包含 Control Room 操作台、示例运行记录、单元测试与评估脚本，亦提供 Docker 运行方式。README 说明每小时视频分析成本约 3–4 美元，并列出当前限制（来源为本地文件夹、仅支持 Telegram、私有演示、非真正实时流式接入等）。

Proof of Turnover：用照片验证度假短租房打扫是否完成

该项目是一个面向度假短租房清洁验收的可验证 AI 代理。房东在 setup 页面按房间上传清洁示例照片和规则，由 Muse Spark 起草检查清单并规划引导式拍照流程；清洁工按房间逐一拍摄照片，系统在后台用两次独立的 Muse Spark 检查加 SAM 3.1 目标检测进行三重校验，只有三者对同一张照片达成一致才判定该项已完成。未获证明的项会以清洁工所用语言生成补拍请求，问题项由清洁工选择“已修复、无法修复、没问题或稍后”，最终由房东在 host 页面审核前后对比照片、语音备注翻译和模型调用日志，并决定通过或退回。项目还提供模型调用缓存与回放机制，记录每次判定所依据的证据照片和调用时间线。

thrift-agent：AI 二手转售刊登代理（照片到 Poshmark/Depop/Vinted 上架）

一个面向二手衣橱的多模态 AI 刊登代理：将 iPhone 照片按单品切分，从照片中提取品牌、尺码、成色等有证据支撑的事实，依据卖家历史成交定价，按卖家文风撰写文案，经校验与 lint 后通过 Telegram 人工确认价格，再用真实浏览器会话以幂等方式发布到 Poshmark，并跨站刊登到 Depop 和 Vinted。技术栈为 Python 3.14、Claude API（视觉与工具调用）、Pydantic、Playwright、SQLite 与 launchd，含约 2100 个测试和 3 操作系统 CI。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。