分层存储

MemKernel：为 AI 编程助手提供代码感知的分层持久记忆

gosha70/memkernel · Code-aware, tiered memory for AI coding copilots: MCP server + Python library (ChromaDB, hybrid search, consolidation, LLM-wiki bridge)

MemKernel 是一个面向 AI 编程助手的代码感知记忆服务，以 MCP 服务器和 Python 库形式提供。它把项目决策、约定、事实、流程和代码快照存入本地 ChromaDB 向量库，让 Claude Code 等兼容 MCP 的助手在上下文压缩或会话结束后仍能按需检索。项目通过 tree-sitter AST 按函数和类边界切分代码，结合稠密向量与 BM25 混合检索，并用工作、短期、长期三层记忆及淘汰、提升、取代和代码快照重新校验机制管理知识的生命周期；长期知识还可经 wiki 桥导出为可纳入 Git 版本管理的人类可读文档。

演讲：大规模 LLM 服务——隐藏的 KV Cache 优势

这是一场演讲，讲者是 Khawaja Shams，主题是如何高效地大规模运行大语言模型（LLM）服务。问题在于：模型推理很吃 GPU，而对话上下文对应的 KV Cache 会占用大量显存，容易撞上“内存悬崖”，还会拖慢响应、推高成本。演讲从分布式系统的角度给出几种做法：提高 GPU 利用率、管理 KV Cache 内存、利用分层存储、降低尾部延迟，以及把预填充和解码拆开部署。读者可以借此了解如何让整套推理集群跑得更快、更便宜、更稳。目前公开的只有标题和摘要，具体实现细节、数据和演示材料均未说明。