AI 资源库 · 已整理 2 项

多模态嵌入

查看与多模态嵌入相关的 AI 资讯、工具、Skill、工作流和开源项目。

模型进展

决策模型遍地开花，OpenAI 的现已公开

OpenAI 本周把 Decisions API 开放公测，给它加上看图片的能力，让程序能根据画面快速做判断。以前要做这类判断往往得调用更慢的推理模型，现在它直接把文字或图片变成三类结果：概率、选项和打分。它按每百万输入 token 收 0.10 美元，输出不另收费，跑在 GPT-6 Luna 上。同一时间 Perplexity、Cloudflare、亚马逊也发布了能自己下载运行的决策模型，但 OpenAI 仍只能通过它的托管接口使用。

文中可用工具

  • Decisions APIOpenAI 的托管接口，把文字或图片转成概率、选项或分数三类结果，本周开放公测
  • GPT-6 LunaOpenAI 承载 Decisions API 公测版本的模型
  • GPT-LiveOpenAI 的实时语音模型，在示例中与 Decisions API 搭配处理对话和表情选择
  • pplx-decider-v1-27bPerplexity 发布的开权重决策模型，可下载自行运行
  • Strands Decider 2B亚马逊发布的本地决策模型，可下载自行运行
  • ClefCloudflare 发布的决策模型，支持图片和文字输入，可下载或通过其托管服务使用
  • Clef-flashCloudflare 发布的另一款决策模型，可下载或通过其托管服务使用
  • JevTypeSafe 此前发布的决策模型
  • MicroduckHugging Face 即将推出的可编程双足开发者机器人，OpenAI 在示例中用它演示
# OpenAI# 决策模型# 开源项目# 多模态嵌入# Decisions API
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
模型进展

EmbeddingGemma 2：开放轻量级多模态嵌入模型

谷歌去年推出轻量文本嵌入模型 EmbeddingGemma，开发者们下载了 2000 多万次，用它做本地搜索和增强生成（RAG）。这次发布 EmbeddingGemma 2，把文字、代码、图片、视频和音频统一到同一个嵌入空间，并沿用宽松的 Apache 2.0 商用许可。模型总参数 7.4 亿，量化后在 Pixel 11 Pro 上纯文本内存占用约 191MB，完整多模态约 567MB，远小于不少专门模型。它支持最长 8K token 上下文，可以做本地代码搜索、跨模态检索和离线问答，模型权重已可在 Hugging Face 和 Kaggle 下载，Gemini 企业代理平台稍后上架。

文中可用工具

  • EmbeddingGemma 2轻量多模态嵌入模型，可在本地做文字、代码、图片、视频和音频的搜索与检索
  • Gemma 4生成模型，与 EmbeddingGemma 2 配合实现本地多模态 RAG
  • LiteRT端侧模型部署工具，用于在设备上运行嵌入和检索
  • Google AI Edge MediaPipe跨平台应用开发工具，提供嵌入、检索和决策的现成任务
  • transformers.js在浏览器中运行模型
  • WebGPU浏览器端硬件加速运行模型
  • transformers高效部署嵌入模型
  • sentence-transformers文本嵌入和相似度计算
  • MLX在苹果芯片上高效运行模型
  • vLLM高效部署大模型推理
  • llama.cpp在不同硬件上高效运行量化模型
  • SGLang高效部署大模型推理
# RAG# EmbeddingGemma 2# 多模态嵌入# 端侧模型# Apache 2.0
☆ 收藏查看来源 ↗
评论 · 分享第一个看法