DeepSeek-V4.1-Flash-1017 去审查版：在 4 张 RTX PRO 6000 上通过 vLLM-Moet 部署 1M 上下文推理服务

hanxiao/DeepSeek-V4.1-Flash-1017-FP8-abliterated-4x-RTX-PRO-6000 · Abliterated DeepSeek-V4.1-Flash-1017 (FP8 dense, FP4 experts) on 4x RTX PRO 6000 with vLLM-Moet r21 and DSpark: 371-376 tok/s single-stream agent decode at 30k-120k context, 1M context, Flex-start GCE VM

GitHub原文发布未知首次收录 2026-11-02上架 2026-11-02 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该仓库提供一套 Shell 脚本，用于在 Google Compute Engine 的 g4-standard-192 Flex-start 虚拟机上部署经过 abliterated（去审查）处理的 DeepSeek-V4.1-Flash-1017 模型：使用 vLLM-Moet r21 与 DSpark 投机解码（5 个草稿 token），采用 4 卡张量并行、FP8 稠密权重与 FP4 路由专家，支持 1,048,576 token 上下文、thinking 与并行工具调用、图片输入、SSE 流式输出，并兼容 Anthropic Messages API 与 OpenAI chat completions。仓库还包含基于 Caddy 的 TLS Bearer 鉴权代理、冒烟测试与评测脚本，并给出在 coding agent 负载下的单流解码速度与首 token 延迟数据。

# 多模态 # 推理与部署 # vLLM # 长上下文 # 投机解码

核心能力与快速开始

★ 31 · Shell

能做什么: 提供从创建 Flex-start GCE 虚拟机、安装驱动与容器工具链、构建 vLLM-Moet r21 镜像、启动服务、停止后恢复到冒烟测试的整套脚本；配置 4 卡张量并行、DSpark 投机解码（5 个草稿 token）、FP8 KV 缓存与 4.19M token KV 池、1,048,576 token 最大上下文、thinking（默认 effort max）、并行工具调用、图片输入与 SSE 流式输出；通过 Caddy 提供 TLS 与 Bearer 鉴权；附带编码与 tokenizer 补丁以及三类评测负载。
适用场景: 在自有 GCE G4 多卡环境部署去审查的 DeepSeek-V4.1-Flash 推理端点，供编程 agent、长上下文文档分析与多轮工具调用场景使用；也可作为参照，复现单流解码、首 token 延迟与并发吞吐的评测流程。
项目形态: 可直接使用的工具
部署方式: 部署在 Google Compute Engine g4-standard-192 Flex-start 虚拟机上，4x RTX PRO 6000（96 GB，PCIe，无 NVLink），宿主机为 Ubuntu 24.04 + 驱动 580 分支 + CUDA 13.0，服务由 Caddy 反向代理并启用 TLS 与 Bearer 鉴权；具体启动与环境步骤见仓库脚本。
主要依赖: 需要 4 张 RTX PRO 6000 级别的 GPU 与对应 GCE 配额/可用区；模型权重 510.3 GB（48 分片）；README 称该 VM 价格为每小时 9.00 美元，其他 API 成本与限制未说明。
使用限制: README 明确说明该改为去审查模型，会回答原版拒绝的请求；评测数据基于特定硬件与软件版本，其他环境的性能未知；FlashInfer b12x MoE 后端不支持 FP4 专家；许可证为 NOASSERTION，商用条件未说明。
许可证: NOASSERTION
最近推送: 2026-10-28 08:37

核对 README 依据 ↗

资料检查：2026-11-02 07:00 · 卡片整理：2026-11-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

部署并运行一个支持 1M token 上下文、thinking、并行工具调用和图片输入的推理服务，仓库提供 coding agent 负载下的单流解码速度与首 token 延迟评测数据，可用于评估该服务在编码代理场景中的表现。

查看内容依据

Decode, coding agent | 371 / 375 / 376 tok/s on one stream at 30k / 60k / 120k tokens of context, thinking at max effort

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

video-grep：在终端中用自然语言按画面内容搜索视频并定位时间点

video-grep 是一个面向终端和 SSH 场景的视频内容搜索工具。它把视频按 6 秒片段抽样，用多模态嵌入模型 EmbeddingGemma 2 建立画面索引，再用英文描述动作、场景或物体来检索，返回匹配的视频和具体时间点。支持只读素材、长视频、后台索引、断线续跑、增量索引，以及只导出匹配片段。所有处理在本机完成，仅模型下载需要联网。

clip_search：基于多语言 CLIP 与 FAISS 的文本-图像零样本相似检索应用

该项目用多语言 CLIP 模型（open-clip-torch 的 xlm-roberta-base-ViT-B-32）把图片和文本编码到同一 512 维向量空间，经 L2 归一化后用 FAISS 做内积（余弦相似度）近邻检索，并通过 Streamlit 提供搜索界面。支持用日语或英语关键词以及手持图片在图片集合中做零样本语义检索；仓库附带脚本可先从图片目录构建索引再启动应用，还提供示例图片用于快速试用。README 说明作者曾在 Kaggle 时尚商品图片数据集约 4.4 万张图片上构建索引进行演示，但未做 Recall@K 等定量精度评估。

Mnemosyne OS：本地优先的 AI 记忆操作系统，让文件与对话成为可控、可检索的模型记忆

Mnemosyne OS 是一个面向 AI 记忆的本地优先控制台，把用户的文件与对话整理为可按需检索、加密保存在本机的 vault（记忆库），并由用户决定哪些内容进入、移动或离开。它支持在本地或云端运行 LLM，通过自适应 RAG、语义 Spine 分类与 Dream State 记忆巩固为多个编码 Agent 提供跨会话记忆；提供 MCP 方式接入 Claude Code、Cursor 等工具，并包含多语言界面、语音、图像记忆与 P2P 同步等模块。仓库为 TypeScript/Electron 实现，采用开源核心模式，桌面端支持 Windows、macOS 和 Linux。

Reforge：模块化 LoRA 微调流水线，支持 Hugging Face 语言模型与视觉语言模型

Reforge 是一个面向 Hugging Face 因果语言模型和视觉语言模型的模块化 LoRA 微调流水线，覆盖数据集加载与模式自动识别、文本清洗、分词、训练、LoRA 合并和模型导出。它支持 SFT、原始文本、聊天和多模态四种训练模式，内置基于 EMA 的早停、自动序列长度、断点恢复、交互式本地模型选择，并提供 Tkinter 仪表盘用于配置编辑和实时损失曲线查看。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。