Conflux Nova：面向 GTX 1080 Ti 等单卡的编译期固化 LLM 推理引擎

核心能力与快速开始

★ 0 · C++

能做什么

以编译期固定模型结构的方式实现 LLM 推理，按六段契约拆分输入、分词、计算与输出链路；支持多会话隔离（每路独占 KV 切片与输出缓冲）、多轮 KV 复用、gemv4 四路批量 decode、ChatML/DeepSeek 双对话模板、top-k/top-p/temperature 采样与流式 UTF-8 输出；提供 Q6_K/Q8_0 到 Q4_K 的离线量化工具；定义计算图、kernel、device 三层划分及后端接入所需的最小算子集合。

适用场景

在 GTX 1080 Ti 等单卡上本地运行 Qwen2.5 与 DeepSeek-R1-Distill-Qwen 系列的 Q4_K 量化模型；多角色/多会话并发的角色扮演与 Agent 场景；以固定模型换取出静默分支开销的专用推理部署；参考其六段契约与 KV 块协议设计自定义推理前端。

项目形态

可直接使用的工具

部署方式

本地编译运行：使用 build_core.bat <模型宏> 构建，生成 build/nova_core.exe；参数与模型路径在 code/main.h 的 cfg:: 中以编译期常量配置，修改后需重新编译。

主要依赖

C++ 与 CUDA 环境（当前 kernel/device 用 CUDA）；已验证于 GTX 1080 Ti；模型需为 GGUF 格式并按文档做 Q4_K_M 或以上量化；具体操作系统、CUDA 版本与显存占用未完整说明。

使用限制

一个二进制只服务一个模型，模型面窄；量化下限为 Q4_K_M，Q4_K/Q4_0/Q3 以下不入库；文档称 1080 Ti（11GB）实用上限为 14B + Q4_K_M + 上下文 ≤8K；本版 attn_batch4 未启用，KV cache 块协议在发行版中尚未实现；V2.0.0-Core 之前的版本与旧接口不再支持；性能数据受 GPU 降频影响需按频率归一。

许可证

MIT

最近推送

2026-11-07 21:29

资料检查：2026-11-08 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在单卡（如 GTX 1080 Ti）上本地部署并运行 Qwen2.5-7B/1.5B、DeepSeek-R1-Distill-Qwen 等 LLM，用于开发调试；通过六段契约（INPUT_CHAT、INPUT_TOKENIZR、INPUT_START、OUT_TKZ、OUT_chat、OUT_OUT）拆分聊天模板、分词、计算与输出模块，便于按模块复用和修改；利用多会话隔离、KV 复用、gemv4 批量 decode 与流式输出构建多路对话程序。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证