AI 资源库 · 已整理 3 项
查看与内存优化相关的 AI 资讯、工具、Skill、工作流和开源项目。
Cloudflare 优化了其内部负载均衡服务中一致性哈希的 Rust 实现（pingora-ketama），把这项服务占用的内存减少了 100 TB 以上。原来的问题是：每个后端服务器要在哈希环上保存很多哈希条目，条目越多占用内存越大。这次的做法是压缩哈希环上的条目，并通过统计分析哈希分布和冲突率，把每个后端所需的哈希数量减少了约 90%。对读者来说，这说明大规模系统里看似不起眼的数据结构优化，也能省下巨量内存资源。
notagentdev/maxtoken · Serve MoE models bigger than your memory on Apple silicon. MLX engine with elastic SSD-backed expert offload, native MTP speculative decoding, OpenAI/Anthropic-compatible APIs and a built-in web console.
MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。
Cloudflare 重新设计了 1.1.1.1 公共 DNS 服务背后那个叫 Big Pineapple 的缓存系统，改变了数据在内存里的存放方式。之前每条缓存记录占用的空间偏大，导致整个服务器集群要消耗大量内存。这次用 Rust 语言做的改动让每条记录的体积缩小了 56%，相当于从所有机器上总共释放出约 100 TB 内存；同时写入缓存的速度快了 43%，查询延迟降低了 19%。对普通用户来说，这意味着 1.1.1.1 的解析可能更快更稳，而且 Cloudflare 不花钱加内存就能存下更多域名记录。
提供的材料未提及具体可用工具。