chronarion/hecate · Hecate: GLM-5.3 (753B MoE) on one NVIDIA DGX Station GB300 (GB300 + RTX PRO 6000 + Grace), ~145-170 tok/s at concurrency 1. Hybrid inference and quantization on ExLlamaV3 + TabbyAPI.
Hecate 是建立在 ExLlamaV3 与 TabbyAPI 之上的推理栈，通过内核、运行时模块和补丁，把 753B MoE 的 GLM-5.3 拆分到 GB300、RTX PRO 6000 与 Grace CPU 三层硬件上混合执行，并提供 OpenAI 兼容服务。项目公布了在 DGX Station GB300 上单并发解码、预填充、长上下文和与 BF16 模型 KL 散度等基准数据，附带量化权重与基准脚本。
展开详情收起详情：Hecate：在单台 DGX Station GB300 上混合推理与量化运行 GLM-5.3 大模型⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-11-05
600me/awesome-gpu-cloud-pricing-benchmark · Daily H100 and A100 cloud pricing, VRAM fit and hidden-cost tracker: compute vs PCIe topology, egress, NVMe, cold-start pre-pull and bundle minimums — priced per useful GPU-hour.
该项目以实时价格面板和计算器形式，对比 RunPod、Vast.ai 等 GPU 云商的 H100、A100、RTX 4090 按小时单价，以及 OpenRouter、DeepInfra、Together.ai 上 DeepSeek R1/V3、Llama 3.3 70B 等模型 API 的每百万 token 输入/输出价格。页面说明价格来源标记（live/cache/baseline）、按有用 GPU 小时折算与示例账单公式，并提示存储、带宽、捆绑最低消费等隐藏成本，同时附带 VRAM 与成本计算器及研究文章。
展开详情收起详情：Awesome GPU Cloud Pricing Benchmark：H100/A100 云价格与 LLM API 费用对比⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-11-05
langchain-ai/terraform · Repository containing langchain terraform modules
该仓库提供一组 Terraform 模块，用于在 AWS、Azure、GCP 和 OpenShift 上部署 LangSmith 自托管版本，覆盖网络、集群、数据库、缓存、对象存储、密钥与 DNS 等云基础设施，并通过 Helm 安装 LangSmith 应用。模块支持两阶段部署、按 minimum/dev/production/production-large 选择规模档位、按云厂商处理密钥，以及 LangGraph Platform、Agent Builder、Insights、Polly 等企业功能开关；其中 AWS 另提供可选的加固项。仓库说明主要面向使用自有云账号或 OpenShift 集群运行 LangSmith 的企业客户，部署需从 release tag 检出，并满足 Terraform ≥ 1.11.0、kubectl、helm 及相应云 CLI 等前置条件。
展开详情收起详情：langchain-ai/terraform：部署 LangSmith 自托管平台的 Terraform 模块⌄
★ 22 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-11-05