美团基础技术部把 AI 编程(让 AI 帮忙写代码、查代码)用到了分布式存储系统里。这类系统一旦出错就可能导致数据丢失或服务不可用,所以光“写得快”不够。他们的做法是:让 AI 做代码评审、排查问题和自动化开发,但要求结论必须能被验证——比如用测试把问题复现成“红灯”、用接近真实环境的集成测试排除误报、用线上日志确认问题真的发生过。实践发现 AI 能抓跨文件不一致、删代码留下的隐患,也会因不懂运维流程而误判,所以人仍需把关定级和设计决策。读者可参考这套“提效+验证”的方法,守质量和稳定性底线。
展开详情收起详情:如何在“不能出错”的系统里使用 AI Coding?分布式存储实践与边界⌄
原文发布:2026-10-29 14:56 · 首次收录:2026-10-30
一个算法团队参考 Karpathy 开源的 AutoResearch 原型,把「让 AI 自己改训练代码、跑实验、看指标、决定下一步」的循环搬进企业云端训练平台。最初的单线程循环有三个毛病:规则靠自然语言提示不可靠、与企业云环境不匹配、同一时间只能试一条路。他们三个月重构三次,最终改成「图探索」:主 Agent 把大问题拆成几个互不重叠的假设,交给子 Agent 并行各自训练、互不干扰,再由主 Agent 汇总对比做决策,并用状态文件和冻结的评估代码保证无人值守时可信、可回溯。在结构完全不同的两个业务建模项目中,单任务耗时比人工基线分别减少约 85% 和 83%,其中一个方案已推全上线并有收益,另一个在全部 12 个预估目标上超过人工基线。
文中可用工具
- AutoResearchKarpathy 开源的极简实验原型,让 LLM 自动改训练代码并反复跑实验
- CyclicGraph Engine团队自研的图探索调度架构,用 Spawn-Converge 并行验证多个假设
- H100原文仅提到是 AutoResearch 原型所用的单张训练 GPU
- Git用 keep/reset 棘轮机制让每步改进可审计、可回滚
- Terminal Bench 2.0原文提到的 89 个跨领域任务评测集,用于对比 Harness 调整效果
- LangChain原文提及其编码 Agent 通过调整 System Prompt、Tools、Middleware 提升得分
展开详情收起详情:从 LOOP 到图探索:算法模型 AutoResearch 自进化系统架构演进之路⌄
原文发布:2026-10-22 14:49 · 首次收录:2026-10-23
美团团队为搜索和推荐场景里的小语言模型(SLM)做了一套新的推理引擎。原来这类场景要在 20 毫秒内返回结果,但通用推理框架(如 SGLang)是为开放式文本生成设计的,调度开销大、效率低。他们把这些“有固定计算步数”的请求重新组织成静态流程图来执行,并用编译和共享缓存等办法减少开销。结果是延迟仍低于 20 毫秒,吞吐达到 SGLang 的 10 倍,Prefill-only 的有效 MFU 为 67%。这套框架已经在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性,能支撑全量推送。
文中可用工具
- AOTInductor把 PyTorch 模型提前编译成可直接加载的 GPU 计算产物
- Packed Prefill把多条变长输入打包处理,避免无效 padding 计算
- SGLang原本用于模型执行的通用推理框架,性能对比对象
- Triton Inference Server项目早期用其 Python Backend 适配业务协议
- vLLM原文仅提到名称,未说明具体用途
- PyTorch用于表达模型语义和选择算子实现
- FP8选择性使用的低精度矩阵计算,降低计算开销
展开详情收起详情:SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化⌄
原文发布:2026-10-15 15:00 · 首次收录:2026-10-16