clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理

核心能力与快速开始

★ 0 · Rust

能做什么

提供 Cloudflare CLEF 与 CLEF Flash 在 AMD Strix Halo 上的 Rust 推理实现：文本主干、视觉编码器和决策头以 Loom 内核经 HRX 执行；支持 choice、score、noul 三类结构化问题输出；支持 BF16 默认精度与 INT4（int4-mlp、int4）选项；支持 --raw 输出 logits、未舍入概率与耗时，支持 JSONL 连续请求、--model-dir 本地快照、--offline 缓存模式、--strict-context、--max-length、--memory-gib 等参数；库接口 ClefModel 提供推理并可通过 load_in 接收已有 HRX ModelContext，Encoder 可在不加载模型、不打开 GPU 的情况下准备 schema 和文本；README 给出在 JevBench 上的精度与吞吐评测结果。

适用场景

在 AMD Strix Halo 设备上本地运行 CLEF/CLEF Flash 多模态模型，对文本、图像、视频内容做结构化判定，例如根据发票状态判断是否需要催款提醒（noul 类型）；需要批量处理结构化请求时以 JSONL 方式持续复用已加载模型；在 Rust 项目中通过 ClefModel/Encoder 库接口集成 CLEF 推理；对比不同精度（BF16 与 INT4）下的精度与吞吐。

项目形态

可直接使用的工具

部署方式

本地部署于 AMD Strix Halo（gfx1151 GPU）。需 Rust 1.91+ 与 Linux；视频输入需 ffmpeg 和 ffprobe；首次使用会下载权重并在同级目录创建分块投影缓存；可用 --model-dir 指定本地快照或 --offline 使用缓存文件。

主要依赖

Rust 1.91+、Linux、gfx1151 GPU。原始 CLEF BF16 短请求至少需要 50 GiB 可用内存；--memory-gib 默认分配预算为 80 GiB；--max-length 默认最大 token 数为 65,536。视频输入需要 ffmpeg 与 ffprobe。

使用限制

仅面向 AMD Strix Halo（gfx1151）平台。README 未说明 API 成本、商用限制或其他硬件支持情况；工作流评测 WorkflowEvals 仍处于进行中状态。未说明实际安装或验证结果。

许可证

Apache-2.0

最近推送

2026-10-12 06:14

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 AMD Strix Halo（gfx1151 GPU）上以 Rust 运行 Cloudflare CLEF 与 CLEF Flash 多模态结构化决策推理，可对文本、图像和视频回答 choice、score、noul 三类结构化问题，并支持 BF16/INT4 精度、JSONL 批量请求以及 ClefModel/Encoder 库接口，供程序员在本地集成与调用。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证