Nvidia 把 740 亿参数的 Agent 模型压缩进 24GB，可在笔记本上运行
这件事讲了什么
Nvidia 发布了 Nemotron 家族新成员：面向企业级 Agent 的 1200 亿参数视觉语言模型 Nemotron 3.5 Super VL，以及两款可在本地运行的小模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB。其中 74B 版本通过二比特量化把内存占用压到 24GB，让笔记本等设备也能跑编程、研究和对话类任务。两款较大模型已可在 Hugging Face 下载，采用允许商用和修改的 OpenMDW 1.1 许可证；4GB 小模型将在近期推出。对想本地跑 Agent 的人，这意味着不用云服务也有望在个人设备上完成多步推理和工具调用，但部分基准成绩落后于同尺寸开源模型，速度与精度仍需权衡。
可以使用的工具
文中可用工具
- Nemotron 3.5 Super VL1200 亿参数的视觉语言模型，用于企业 Agent，支持图像和文档理解
- Nemotron 3.5 Bolt 74B-A9B 24GB从 Super VL 衍生的小模型，可在笔记本本地运行编程、研究和对话任务
- Nemotron 3.5 Bolt E4B 4GB更小的本地模型，面向设备助手和交互角色，尚未发布
- llama.cpp运行本地模型的推理框架，Bolt 已支持
- Ollama本地模型运行工具，Bolt 已支持
- LM Studio本地模型运行工具，Bolt 已支持
- vLLM模型推理服务框架，Bolt 已支持
- Hugging Face模型下载平台，新模型在此发布
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。