AI 资源库 · 已整理 3 项

推理服务

查看与推理服务相关的 AI 资讯、工具、Skill、工作流和开源项目。

AI Systems Atlas:可运营 AI 系统与模型的策展目录

katagun/ai-systems-atlas · Curated atlas of operational AI systems, agents, frameworks, memory systems, licenses, and evidence

AI Systems Atlas 是一个经过编辑审核的目录,收录可运营的 AI 系统、与供应商无关的模型发布及其开发实验室、连接系统的规范、托管推理服务、自托管推理运行时、宿主 Agent 可安装的 Agent 包,以及有据可查的 AI 机器人。目录以静态网页形式发布,所有审核记录同时以无密钥、无限速的 JSON 形式提供;仓库包含编辑目录、校验与刷新自动化脚本,以及无依赖的静态 Web 界面,并区分来源元数据与 Atlas 审核记录。

☆ 收藏查看来源 ↗

Kev:可自行训练与部署的轻量决策模型家族

jaredpalmer/kev · Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own

Kev 是一组基于 Qwen3.5/3.8 构建的小型决策模型(0.8B、4B、9B、27B),用于在同一请求中回答是/否、单选和评分类问题,并输出经校准的概率分布。项目提供预训练权重与本地训练流程,支持在自己的标注数据上微调、在 CUDA/Apple Silicon 上本地推理,并能通过 Modal 一键部署为 HTTPS 端点;其 API 与 TypeSafe System One 兼容,现有 Python SDK 可直接迁移使用。

☆ 收藏查看来源 ↗

Featherless:送披萨不必开坦克,轻量分类模型就够了

Featherless 是一家提供无服务器推理服务的公司,它发布了一个叫 Simple Jev 的开源库,能把开源 AI 模型变成高速的“零样本分类引擎”。原来的问题是,很多开发者用超大的前沿模型去干分类这种简单活,比如判断一张图片或一段文字属于哪一类,既慢又贵,就像开坦克送披萨。Simple Jev 不让模型写长篇回答,而是直接读出它对各个选项的打分并给出概率,因此更快、更省算力。开发者可以用免费公共接口试玩(限制 2000 词上下文、每秒 2 次请求),生产环境起步价每百万输入 token 0.03 美元,输出免费;目前视觉分类仅支持 Gemma 或 Qwen 模型。

文中可用工具

  • Simple Jev开源库,把开源 AI 模型变成高速零样本分类引擎
  • Jev闭源文本分类模型,仅支持文本
  • TypeSafe原文未说明具体用途
  • Gemma用于视觉分类的开源模型
  • Qwen用于视觉分类的开源模型
  • CLIP零样本图像分类模型
  • Florence-2视觉语言基础模型,适合零样本和微调任务
  • Roboflow原文未说明具体用途
  • Mixpeek原文未说明具体用途
☆ 收藏查看来源 ↗