工具与应用01
HPE 的三位产品负责人（Marius Bogoevici、Mahesh Ramachandran、Karthik Subramanian）在一篇赞助文章中讲了怎么发现 AI 服务“机器很忙但用户体验差”的问题。原来大家常看 GPU 利用率，但它只说明显卡在干活，不代表回答够快、够准——首字快可能后面生成很慢，整体快也可能答错。他们建议上线前先用有代表性的提问和流量做一次“基准测试”，记下首字时间、每字生成速度、吞吐量和答案质量，上线后再拿实时表现跟基准对比，并把请求数据和 GPU、网络、数据库、向量库等底层指标对齐，才能分清是需求涨了还是哪里卡住了。读者可以据此建立更靠谱的监控和扩容依据；报道没有给出具体测试数字，相关方法和电子书属于推荐做法，HPE Morpheus 与 OpsRamp 是厂商产品介绍，并非已公开的独立评测结果。
文中可用工具
- HPE Morpheus Software在混合环境中统一开通和管理虚拟机与 Kubernetes 集群的平台
- HPE Kubernetes Service (HKS)Morpheus 高级版和企业版中包含的 Kubernetes 服务
- HPE OpsRamp Software跨多云混合基础设施的全栈可观测与监控工具
- Horizontal Pod AutoscalerKubernetes 自带的按指标自动扩缩容组件
研究与技术02
这是一场演讲，讲者是 Khawaja Shams，主题是如何高效地大规模运行大语言模型（LLM）服务。问题在于：模型推理很吃 GPU，而对话上下文对应的 KV Cache 会占用大量显存，容易撞上“内存悬崖”，还会拖慢响应、推高成本。演讲从分布式系统的角度给出几种做法：提高 GPU 利用率、管理 KV Cache 内存、利用分层存储、降低尾部延迟，以及把预填充和解码拆开部署。读者可以借此了解如何让整套推理集群跑得更快、更便宜、更稳。目前公开的只有标题和摘要，具体实现细节、数据和演示材料均未说明。
工具与应用03
Datadog 的产品经理 Kathy Lin 和技术作者 David Lentz 写了一篇文章，讲 Kubernetes 的旧设备插件模型怎么限制 GPU 使用效率。旧模型里，团队必须提前把 GPU 切好固定的分区，请求只能写数量、看不出显存大小和连接方式，结果经常是花钱买的 GPU 容量白白闲着，或者任务排队等资源。新的动态资源分配（DRA）让 Kubernetes 按每个任务的具体需求灵活挑选和分配 GPU，还能让多个任务共用同一块 GPU，把闲置容量利用起来。读者可以了解 DRA 相比旧模型好在哪，以及用 Datadog 怎么跟踪这些改进和省下的成本。文章目前是博文介绍，没有给出具体性能数字，也没有说明 DRA 功能是否已普遍可用。
文中可用工具
- Kubernetes Dynamic Resource Allocation按任务需求动态挑选和分配 GPU 等硬件，提升利用率
- Kubernetes device plugin model旧版 GPU 分配方式，把设备当作可互换的数量单位
- NVIDIA Multi-Instance GPU把一块 GPU 切成多个相互隔离的硬件实例
- Datadog跟踪 GPU 利用率改进和成本节省情况