Together AI推出Together Compiler，让AI代理自动优化GPU内核
来源标题：Together AI let coding agents rewrite its GPU code. Then it kept humans on the deploy button.
Together AI发布Together Compiler，可自动生成、测试并改进GPU内核，性能调优从数天或数周缩短至隔夜完成。该优化循环完全自主运行，但最终评估和部署需由人工审核后启动。
以下正文由 AI 翻译自 The New Stack（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
Together AI正在让AI编程agent参与运行其推理基础设施的GPU代码，将过去需要工程师花费数天甚至数周手动完成的性能调优自动化。
该公司周三发布了Together Compiler，这套系统能够生成、测试和改进GPU kernel，无需工程师指导每一次实验，Together AI称它可以在一夜之间带来性能提升。整个流程无需人工逐步操控，但系统不会自行发布任何内容。
当被问及还有多少人工参与时，Together AI对The New Stack表示：“优化循环是自主运行的”，并补充说“最终评估和部署流程是自动的，但必须由人工启动，由其在部署到生产环境之前审查变更。”
“优化循环是自主运行的。最终评估和部署流程……必须由人工启动，由其在部署到生产环境之前审查变更。”
GPU kernel为何落后
新AI模型发布频率极高，保持推理基础设施的优化已成为一项挑战。每个模型都有不同的需求，针对一种工作负载调优的GPU代码在另一种工作负载上可能表现差得多。
Together AI表示，目前OpenRouter上80%的流量来自过去三个月内发布的模型。这使得工程师不得不持续调整代码以跟上节奏；现在Together Compiler将其中大部分工作自动化了。
多个编程agent同时运行实验，编写和测试GPU kernel，并共享结果以帮助指导下一轮改进。
更快的测试，更多的实验
该公司还找到了一种加速测试的方法。每次agent修改代码时，不再需要重启推理引擎，Together Compiler让引擎保持运行并加载新代码。据Together AI称，这将初始化时间从大约467秒缩短到仅9秒。
每次agent修改代码时，不再需要重启推理引擎，Together Compiler让引擎保持运行并加载新代码。
解读252倍这一数字
Together AI表示，其编译器能够运行的优化实验数量是现有基于agent的系统的252倍。该公司对The New Stack表示，它使用Apple的RSI Inference Bench测试框架作为基线，在相同的推理工作负载和硬件上比较两个系统，仅优化方法不同。
252倍指的是Together Compiler能够运行的实验数量与Apple系统相比，而非AI模型本身的运行速度提升了多少。
该公司另外报告称，与已发布的基准配置相比，推理吞吐量提升最高可达2.6倍。这些提升取决于模型和硬件，且结果尚未经过独立验证。
更多实验意味着Together Compiler有更多机会找到改进。而且由于每次测试耗时更短，agent可以在一夜之间完成原本可能需要工程师数周手动调优的工作。
更好的性能，相同的成本
更快的推理并不一定意味着更低的价格。当被问及性能提升是否会转化为客户节省，还是主要改善自身基础设施效率时，Together AI对The New Stack表示：“Together Compiler提高了Together AI的基础设施效率。在相同的费用下，客户将获得更好的性能。”
“在相同的费用下，客户将获得更好的性能。”
开发者可能从相同的GPU中获得更多产出，但这并不总是意味着更低的每token价格。该公司对The New Stack表示，客户将以相同成本获得更好的性能，而非降价。
Together AI表示，其编译器每天已处理数万亿token。这再次表明，编程agent正从编写应用代码转向GPU性能优化，工程师只需审查agent现在可以在一夜之间完成的工作。
The post Together AI let coding agents rewrite its GPU code. Then it kept humans on the deploy button. appeared first on The New Stack.
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。