搜索归档

DeepSeek-V4.1-Flash-1017 去审查版：在 4 张 RTX PRO 6000 上通过 vLLM-Moet 部署 1M 上下文推理服务

hanxiao/DeepSeek-V4.1-Flash-1017-FP8-abliterated-4x-RTX-PRO-6000 · Abliterated DeepSeek-V4.1-Flash-1017 (FP8 dense, FP4 experts) on 4x RTX PRO 6000 with vLLM-Moet r21 and DSpark: 371-376 tok/s single-stream agent decode at 30k-120k context, 1M context, Flex-start GCE VM

该仓库提供一套 Shell 脚本，用于在 Google Compute Engine 的 g4-standard-192 Flex-start 虚拟机上部署经过 abliterated（去审查）处理的 DeepSeek-V4.1-Flash-1017 模型：使用 vLLM-Moet r21 与 DSpark 投机解码（5 个草稿 token），采用 4 卡张量并行、FP8 稠密权重与 FP4 路由专家，支持 1,048,576 token 上下文、thinking 与并行工具调用、图片输入、SSE 流式输出，并兼容 Anthropic Messages API 与 OpenAI chat completions。仓库还包含基于 Caddy 的 TLS Bearer 鉴权代理、冒烟测试与评测脚本，并给出在 coding agent 负载下的单流解码速度与首 token 延迟数据。