模型部署

Genesis vLLM Patches：面向 Ampere GPU 的 int8 端到端推理补丁集

blairq/genesis-vllm-patches · Runtime patches for vLLM 0.29.0: a 27B hybrid-GDN model at 256K context on 2x RTX 3090 — integer attention kernels, W4A8 Marlin, DFlash2 speculative decoding.

该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。

从 Agent 授权到 AI 生产评估：QCon AI 纽约 2026

QCon AI 纽约 2026 大会已经确定了 23 场会议，主题包括 Agent 授权、生产环境防护栏、共享推理基础设施，以及 AI 系统上线后如何评估效果。写这篇文章的是 Artenisa Chatziou。简单说，这是一场技术大会的日程预告，告诉大家届时会聊哪些 AI 落地中绕不开的实操话题。具体每场会议的讲师、时间和详细内容原文没有说明。

smithtune：在 LangSmith 轨迹上微调模型并评测部署

langchain-ai/smithtune · LangSmith Post-Training CLI

smithtune 是 LangChain 推出的后训练 CLI 工具（早期 beta），用于将 LangSmith 中记录的 agent 轨迹整理为数据集，并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审（agent council），到数据准备、训练、基于 judge 的基础模型与微调模型对比评测，以及在 Fireworks 或 Baseten 上部署推理端点的完整流程，并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用，命令与目录格式可能在版本间变化，README 未说明具体硬件、成本与免费/商用授权条件。