工具
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
展开详情收起详情：Opod：为自有 GPU 提供统一 OpenAI 兼容端点的自托管 AI 网关⌄
程序员将 Cursor、Aider、Continue、Codex CLI 或任意 OpenAI SDK 指向自托管的 Opod 端点，让这些编码工具使用自有 GPU 上的开源权重模型（如 Qwen、Llama、DeepSeek）完成代码编写与辅助，避免把专有代码发送给第三方 API。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
DavidCompute/AG-UI_Multi-Party · A group chat protocol hub implemented according to the *AG-UI Group Chat Extension Protocol Standard v1.0*, written in C# / .NET 10 (ASP.NET Core Minimal API).
该项目是依据《AG-UI 群聊扩展协议标准 v1.0》用 C# / .NET 10（ASP.NET Core Minimal API）实现的群聊协议枢纽，覆盖群组生命周期、成员管理、消息扇出、订阅机制、WebSocket 与 SSE 双传输，并集成基于 Microsoft Agent Framework 的智能体网关，支持智能体触发规则、人机交互审批、记忆与知识库 RAG 检索、技能库、内置文档/表格/演示文稿/PDF 生成、用户与权限管理、持久化与数据导出导入等能力，附带 Web 演示前端与桌面客户端（WPF / Avalonia）。
展开详情收起详情：AG-UI 群聊扩展协议 Hub：基于 .NET 的多智能体群聊与协作枢纽⌄
程序员作为基于 .NET 10 / ASP.NET Core Minimal API 的多智能体群聊协议枢纽参考实现，可用于开发与调试 AG-UI 群聊协议、WebSocket/SSE 双传输、智能体网关与工具调用等集成；仓库还提供 SDK、单元/集成测试与示例客户端，便于第三方接入开发。
产品经理可通过 Web 演示前端体验多智能体群聊、@提及触发、人机交互审批卡片与一键组织编排流程，用于梳理多智能体协作产品的交互与需求。
★ 0 · 开发框架
原文发布：未知收录：2026-10-13
工具
hurry060215-tech/learnnote-assistant · A local-first AI learning assistant that turns browser videos and local media into grounded, structured study notes.
LearnNote 是一个本地优先的 AI 学习助手，能够把浏览器视频（如 Bilibili、YouTube）和本地视频、PDF、Markdown、TXT、HTML 等资料转成结构化、可回到来源核对的笔记。它优先读取已有字幕，无字幕时可选本地 faster-whisper 转写或远程转写，并按需调用文字、视觉模型生成概览、重点与结论；支持浏览器扩展交接已登录页面的字幕与资源、全局助手与 Skill 追问、FSRS 复习、笔记编辑与版本保留、导出、Obsidian 集成。工作台通过平台启动脚本双击运行，服务只监听本机 127.0.0.1，数据和模型 Key 默认保存在本机，不需要 LearnNote 账号。
展开详情收起详情：LearnNote：把浏览器视频与本地资料整理成可追溯学习笔记的本地优先 AI 助手⌄
程序员将本地视频、PDF、Markdown、TXT、HTML 等资料转成结构化、可回到来源核对的笔记，用于技术学习与文档整理。
产品经理把浏览器视频和本地资料整理成可追溯的学习笔记，用于用户研究、需求分析等场景下的资料整理与知识沉淀。
★ 3 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
jackft/mumo · tools for multimodal interaction research
mumo 是一个面向多模态交互研究的工具集，提供安装包与浏览器应用、可嵌入库两种构建产物，可用于音频转录等交互数据的查看与标注。仓库使用 TypeScript 编写，采用 pnpm 工作区开发，并注明可在 Linux、Mac 与 Windows 上运行。
展开详情收起详情：mumo：用于多模态交互研究的工具集⌄
程序员作为 TypeScript 编写的可嵌入库，程序员可通过 pnpm 工作区构建产物，将多模态交互数据查看与标注能力集成到自己的应用中。
产品经理产品经理在进行用户研究时，可使用该工具查看与标注音频转录等多模态交互数据，辅助分析用户行为与对话。
★ 4 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
Zafer-Liu/book-learning · 书内 BOOKNOTE · 多账户教材 RAG 学习助手 —— 回答必引原文:C/W 双引用校验、批注阅读器、长对话自动压缩、可选联网补充(MCP)
书内（Book Learning / BOOKNOTE）是一个可自托管的多账户教材学习工作区，支持上传 Markdown、TXT、DOCX 教材，提供问答、章节讲解、要点梳理与自测四种学习模式。所有回答必须基于本轮检索到的教材证据并附带可展开的原文引用（C/W 双轨引用校验），无引用或伪造引用的回答会被整体拒绝且不落库。项目还包含批注阅读器、长对话自动压缩与上下文计量、可选联网补充（MCP/智谱搜索）、自测复习与 Anki CSV 导出、只读分享链接及在线演示，数据按账户与书籍隔离，单本书一个检索上下文。
展开详情收起详情：书内 Book Learning：面向多账户教材的引文校验 RAG 学习助手⌄
程序员自托管部署与二次开发：项目为 Python/Flask 服务，含 SQLite、FTS5、RAG 检索与 SSE 流式回答，程序员可阅读 study/ 下的 app.py、tutor.py、rag.py 等模块进行代码审查、排错与功能扩展，并运行离线回归测试。
产品经理上传 Markdown/TXT/DOCX 教材后，使用问答、章节讲解、要点梳理与自测四种学习模式，并借助自测复习与 Anki CSV 导出整理学习材料。
★ 45 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
rmednitzer/core-graph · Converged graph + vector knowledge platform on PostgreSQL (Apache AGE + pgvector) for security, threat intel, and AI memory
core-graph 是一个构建在 PostgreSQL 之上的图与向量融合知识平台，使用 Apache AGE 存储图数据、pgvector 存储向量嵌入，用于汇聚安全与基础设施领域的异构数据。它涵盖威胁情报、安全事件、OSINT、审计合规、AI 记忆、取证时间线、基础设施资产、身份与访问管理八个本体层，支持 STIX 2.1、MITRE ATT&CK、OCSF 1.1、OSCAL 等标准，并通过 NATS JetStream 接收卫星系统数据。对外提供 MCP 服务器（面向 AI 智能体）、FastAPI REST API（面向人工用户）和 TAXII 2.1（威胁情报共享）三类接口，并内置多层授权、双时态数据模型和证据完整性机制。项目状态为 Alpha。
展开详情收起详情：core-graph：基于 PostgreSQL 的安全威胁情报图谱与向量知识平台⌄
程序员作为构建在 PostgreSQL 之上的图与向量融合知识平台，程序员可将其作为后端基础设施，通过 FastAPI REST API 和 MCP 服务器接口进行图查询、语义搜索与数据接入开发；仓库提供 Docker Compose 开发栈、Helm chart、ArgoCD 清单及迁移脚本，便于本地开发与部署。
★ 1 · 开发框架
原文发布：未知收录：2026-10-13
工具
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
展开详情收起详情：GarageAI：面向欧洲的本地 GPU 推理交易市场，通过统一 OpenAI 兼容 API 调用⌄
程序员程序员可将现有 OpenAI SDK、Agent 和编码工具的基础 URL 改为 https://api.garageai.eu/v1，通过 OpenAI 兼容 API 调用本地 GPU 上运行的模型（Ollama、LM Studio、llama.cpp、vLLM、SGLang 等），用于代码编写、测试和排错等开发工作。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
anthropics/oss-scanner
OSS Scanner 是 Anthropic 提供的服务，用于扫描关键开源仓库中的安全漏洞。项目方可提交 PR 在 projects/<name>/ 下注册项目，提供 project.yaml 与 Dockerfile（可选 threat_model.md）；扫描器在隔离虚拟机中联网构建项目，随后在无网络环境下分析，并通过邮件把带复现步骤和（可用时）修复补丁的模型生成报告发送给 primary_contact 及抄送人。报告由模型生成、无人工复核，因此不设 90 天披露期也不公开。仓库还提供 tools/validate.py、tools/check 等本地校验与构建工具。
展开详情收起详情：OSS Scanner：面向关键开源仓库的 AI 安全漏洞扫描服务⌄
程序员程序员可将关键开源仓库注册到 OSS Scanner，由扫描器在隔离虚拟机中构建项目并在无网络环境下分析安全漏洞，报告包含复现步骤和可用时的修复补丁，用于代码审查与安全排错。
★ 890 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
展开详情收起详情：AgentTrust IQ：面向 AI Agent 的可靠性与评测平台⌄
程序员在发布 AI Agent 前，使用该平台对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查，并生成可回放的 JSONL 证据，将可靠性检查转化为 release、block 或 escalate 决策。
产品经理在 AI Agent 发布前，使用该平台检查回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性，并依据 release、block 或 escalate 决策与可回放 JSONL 证据评估是否可发布。
★ 0 · 开发框架
原文发布：未知收录：2026-10-12
工具
nirholas/vision-mcp · Let any AI agent see — analyze and describe images through the three.ws vision pipeline. Free NVIDIA NIM VLMs first, with an automatic server-side paid backstop. Pass an image URL or base64 and get a structured, natural-language read. Read-only, no key required.
vision-mcp 是一个基于 Model Context Protocol 的服务器，让任意 AI 助手通过 stdio 获得图像理解能力。传入公开 URL 或 base64 图片，即可进行视觉问答、OCR 读图、图像分类、3D/虚拟形象渲染评价，或生成替代文本（alt text）与说明文字。请求由 three.ws 视觉流水线处理，优先使用免费的 NVIDIA NIM 视觉模型，失败时自动回退到服务端付费模型；调用方无需付费也无需提供密钥，接口只读、会按 IP 限流，可选提供 three.ws API Key 提高限额。
展开详情收起详情：vision-mcp：为 AI Agent 提供图像理解能力的 MCP 服务器⌄
程序员通过 MCP 服务器为 AI 编程助手增加图像理解能力，可读取截图中的文字（OCR）、识别场景内容，或评价 3D/虚拟形象渲染效果，辅助排错与技术文档处理。
产品经理借助 AI 助手对图片进行视觉问答、分类，并生成替代文本或说明文字，用于整理原型截图或图像素材的说明。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
shraattt/captioner · Local-first AI captioning for Windows: batch SRT/VTT subtitles plus a live caption overlay, running fully offline on your own GPU.
Captioner 是一个面向 Windows 的本地优先 AI 字幕工具，可在自有 GPU 或 CPU 上完全离线运行。它能批量把讲座、访谈、电视录像等音视频转为带词级时间的 SRT/VTT 字幕，也提供悬浮置顶的实时字幕条以约 1–2 秒延迟转写麦克风或系统音频。可选功能包括 pyannote 说话人标注、wav2vec2 词对齐、M2M100 多语言翻译与实时翻译、OpenAI 兼容后端接入、本地 HTTP API 与浏览器界面、监听文件夹自动转写与 webhook、内容去重和带崩溃恢复的任务队列，并支持自行微调 Whisper 模型。
展开详情收起详情：Captioner：Windows 本地离线 AI 字幕生成与实时字幕工具⌄
程序员将讲座、访谈等音视频批量转写为带词级时间的 SRT/VTT 字幕，并通过本地 HTTP API 与浏览器界面由脚本驱动转写队列，用于技术内容字幕制作与自动化处理。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
ARahim3/DigUp · Search your Mac by what's in your files: photos, PDFs, recordings, videos and code. On-device, built on Google DeepMind's EmbeddingGemma 2.
DigUp 是一款运行在 Apple Silicon Mac 上的菜单栏应用，利用 Google DeepMind 的 EmbeddingGemma 2 多模态嵌入模型，让用户用自然语言描述来搜索本机文件中的内容。它可以索引图片、PDF、文档、音频和视频，把一次查询同时匹配到视频中的某一帧、播客的某一段、PDF 的某一页或截图中的文字，并支持超过 100 种语言的跨语言检索；开启代码搜索后还能按功能描述定位代码。索引与检索全部在本地完成，模型仅在首次下载和每日检查更新时联网。
展开详情收起详情：DigUp：基于 EmbeddingGemma 2 的 Mac 本地多模态文件语义搜索⌄
程序员在本地代码库中按功能描述或符号名进行语义搜索，并直接跳转到编辑器对应行，辅助代码定位与排错。
★ 928 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
tvedeshkumar-blip/SAT-QUERY-AI · SatQuery AI is an evidence-based agentic AI for multi-modal remote sensing of Optical, SAR, and time-series satellite data. It picks relevant models, combines evidence, detects evidence conflicts, and starts focused re-analysis for dependable results. The system provides evidence-based, explainable, confidence-aware, and traceable solutions.
SatQuery AI 是一个面向地球观测（EO）卫星图像分析的多模态视觉语言智能体系统，覆盖光学、SAR 与时序卫星数据。它支持单幅图像的地表覆盖 VQA、密集地形描述与像素级视觉定位，支持双时相变化检测与变化 VQA，并可将光学光谱反射与 SAR 微波后向散射进行跨模态融合，以在云层遮挡下区分水体与城市结构。系统提供带任务路由与执行轨迹追踪的智能体控制器，保留 GeoTIFF 坐标参考系与光谱指数（NDVI、NDWI、CIR、SAR dB 滤波）。在模型层面采用惰性加载的专业适配器与显式回退层级（如 Florence-2-base、OWL-ViT、BIT-CD 以及 Gemini 2.5 Flash），并强调不编造指标：未校准置信度明确标注为不可用，每次响应返回模型来源与回退信息。
展开详情收起详情：SatQuery AI：基于证据的多模态遥感卫星图像分析智能体⌄
程序员作为可复用的多模态遥感分析智能体系统，供程序员在开发地球观测卫星图像分析应用时参考其解耦的多层架构、任务路由与执行轨迹追踪、模型惰性加载与显式回退层级（Florence-2-base、OWL-ViT、BIT-CD、Gemini 2.5 Flash）以及证据与溯源返回机制。
★ 0 · 研究实现
原文发布：未知收录：2026-10-12
工具
auRose94/base9-quantization · Base-9 (ninths-grid) model quantization: the K9 codec, measured frontiers vs GGUF/NF4, and a parser-verified Godot 4 coder fine-tune
该项目提出并实现了一种基于九进位数（ninths / base-9）重复基权重量化网格的模型压缩格式，允许熵编码在 2 的幂量化档位之间滑动。仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器，以及在被验证的 Godot 4 解析器语料上训练的编码器微调模型（QLoRA）。README 记录了在 Qwen2.5-Coder 1.5B/7B/14B 上的后训练量化测量结果，包含与 GGUF / NF4 的对比，同时也记录了失败与零结果。
展开详情收起详情：base9-quantization：九分之格（base-9）模型量化格式与 llama.cpp 运行时的研究与实现⌄
程序员程序员可将该仓库作为模型量化与本地推理的参考实现：仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器，以及在 Godot 4 解析器语料上训练的编码器微调模型（QLoRA），可用于在消费级硬件上以更小文件部署近无损的本地模型，并参考其量化评测方法（配对窗口、噪声下限、侧信息核算）。
★ 0 · 研究实现
原文发布：未知收录：2026-10-12
工具
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
展开详情收起详情：clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理⌄
程序员在 AMD Strix Halo（gfx1151 GPU）上以 Rust 运行 Cloudflare CLEF 与 CLEF Flash 多模态结构化决策推理，可对文本、图像和视频回答 choice、score、noul 三类结构化问题，并支持 BF16/INT4 精度、JSONL 批量请求以及 ClefModel/Encoder 库接口，供程序员在本地集成与调用。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案，用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型，包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持，以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本，本地推理不上传对话数据，并在首次运行时下载约 40GB 模型文件。
展开详情收起详情：vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring：在 RTX PRO 6000 上通过 vLLM 部署 Qwen 模型并附带监控面板⌄
程序员在配备 RTX PRO 6000 Blackwell 显卡的 Windows 机器上，通过 Docker 一键部署本地 Qwen3.8-Flash-Next 推理服务，用于本地对话与工具调用；并可通过 Prometheus+Grafana 面板查看 GPU 使用率、显存、生成速度、温度与响应时间等运行指标，辅助排查性能问题。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
datamllab/openesm · Open-source code for training and scaling up energy-based foundation models.
OpenESM 是用于训练和扩展 Energy-Steered Models（能量引导模型）的开源代码库，包含预训练、监督微调、BPB 验证评估、QA 评测、零样本基准与交互式聊天等完整流程，并发布 160M、520M、1B 规模在 DCLM、FineWeb、ClimbMix、OWT 上训练的预训练权重及 ESM-FineWeb-1B-CHAT 微调模型，附有缩放律实验图表。
展开详情收起详情：OpenESM：训练与扩展能量引导语言基础模型的开源代码⌄
程序员程序员可使用该开源代码库进行能量引导语言模型的预训练、监督微调、BPB 验证评估、QA 评测、零样本基准测试与交互式聊天，并加载已发布的 Hugging Face 预训练权重进行推理。
★ 9 · 研究实现
原文发布：未知收录：2026-10-12
工具
yzfly/edgejev · 离线可用的本地类型化决策：4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev
EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。
展开详情收起详情：EdgeJev：在普通 CPU 上离线运行的本地类型化决策推理服务⌄
程序员在本地 CPU 上离线运行类型化决策推理服务，通过 edgejev build 将模型导出为 ONNX 并做 INT8 量化，再用 edgejev serve 启动与官方 /v1/systemone 协议兼容的本地服务，供程序在无网络、无 API key 的环境下调用决策接口。
★ 21 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
展开详情收起详情：qwen3.8-27b-in-c：在笔记本 CPU 上用纯 C 本地运行 Qwen3.8-27B 模型⌄
程序员在本地笔记本 CPU 上运行 Qwen3.8-27B 大模型，并通过其兼容 OpenAI API 的本地服务接口（http://localhost:8080）让其他开发工具接入本地模型，用于离线测试、隐私保护或断网环境下的开发调试。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
展开详情收起详情：mainarch：绕过 ROCm 在 AMD GPU 上直接运行 LLM 推理⌄
程序员在本地 AMD GPU 上直接运行 OLMo 2 语言模型进行对话、文本生成、翻译和摘要，绕过 ROCm/HIP/HSA 中间层，用于低延迟 LLM 推理服务的开发与实验。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12