Together AI 让编程智能体重写其 GPU 代码,但部署按钮仍由人掌控
这件事讲了什么
Together AI 推出了一个叫 Together Compiler 的系统。GPU 内核是让 AI 模型跑得更快的底层代码,以前工程师要花几天甚至几周手动调优;现在多个编程智能体可以同时写代码、跑测试、互相共享结果,一晚上就能完成大量实验。它还改进了测试方式,把每次加载新代码的等待时间从约 467 秒降到 9 秒,因此能做更多实验(公司称是苹果基准方案的 252 倍,这里指实验次数,不是模型速度)。不过优化过程虽是自动的,最终评估和上线必须由人启动并审核,而且官方称同等价格下客户获得更好性能,而非降价。相关结果尚未经独立验证。
可以使用的工具
文中可用工具
- Together Compiler自动生成、测试并改进运行推理服务的 GPU 内核代码
- Apple RSI Inference Bench作为对比实验次数的基准测试工具
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。