GPU内核的优化工作并非仅仅是将一段能运行的代码提速那么简单。在实际生产环境里，编写代码的智能体需要在硬件指令集、内存布局、并行策略以及整体架构之间进行反复权衡。尽管初期能取得一定进展，但往往会逐渐偏向那些更易实现、但性能上限较低的方案，最终陷入局部最优的困境。
为了应对这一挑战，加州大学伯克利分校的研究团队提出了“持续进化智能体团队”方案。他们的核心理念是，与其单纯增加智能体数量，不如让一个中央监督器根据当前的优化瓶颈，在每一轮中动态重组智能体团队，并调整其角色分工、协作方式以及知识管理策略。
整个“进化智能体团队”框架由两层结构组成。底层是由智能体组成的团队，负责编写、编译、测试和分析内核代码；上层则是一个监督器，它负责观察优化进程，分析成功与失败的原因，并决定下一轮如何进行调整。
当智能体团队在调试过程中遇到障碍时，监督器可以引入“调试专家”；如果缺乏性能数据作为优化依据，则可以加入“性能分析科学家”；如果早期的发现未能有效传递给后续的智能体团队，则引入“知识整合者”，负责整理实验记录和行动计划。同时，该系统还维护着一个跨团队的持久化文件系统，用于保存代码、角色记录、失败尝试、硬件观察结果以及已验证的策略。
“MLA分页解码内核”案例展示了这一机制如何帮助智能体团队突破局部最优。MLA是DeepSeek-V3所采用的注意力结构，其优化难点在于较高的寄存器占用压力，以及CUDA核心与张量核心之间的协同工作。在实验初期，单个智能体多次尝试WGMMA路径均未成功，随后转向了更易调试的WMMA路径。虽然WMMA最终能够运行，但也限制了张量核心的利用率。
为了避免智能体团队过早放弃优化，监督器引入了“纪律官”，要求智能体团队保留WGMMA约束，并且每次只进行一项能够明确评估效果的修改。之后，任务被分配给并行运行的“调试专家”和主优化智能体：前者负责验证难以实现的矩阵乘法路径，后者则继续推进其他优化工作。
当监督器发现早期实验中的关键发现没有传递给后续智能体团队时，便会引入“知识整合者”，建立跨团队的经验文档。这最终帮助智能体团队验证了P@V WGMMA路径。在完成核心架构调整后，监督器还会要求重新进行性能分析，以进一步优化性能。
在四项CUDA内核任务中，进化智能体团队均超过了强大的编码智能体基线。这些任务涵盖了NVIDIA B200和H100 GPU，包括FlashAttention-4、Gated Delta Net预填充、MLA解码，以及GEMM与AllReduce融合。
在相同的Token预算下，对于MLA解码任务，Claude Code的性能约为生产环境FlashInfer内核的51%，而进化智能体团队则达到了74%。相比之下，固定四角色团队为31%，Codex单智能体为28%。这表明，性能差距不仅源于底层模型的能力，也取决于智能体团队能否根据任务阶段的变化来调整其组织形式。
在投入更多推理预算后，进化智能体团队生成的MLA内核，在FlashInfer-Bench的47个生产负载上，平均性能达到了FlashInfer的1.21倍。其中，有36个负载的性能超过了生产环境的FlashInfer内核，而其余11个负载的性能则处于FlashInfer内核的0.86到0.99倍之间，这意味着部分负载仍存在差距。
随着运行时间的延长，智能体团队在Gated Delta Net预填充任务上取得了4.06倍的平均加速。在GEMM与AllReduce融合任务中，它们逐步推进异步加载、Warp Specialization和NVLink multicast，最终达到了基准性能的1.56倍，略高于ThunderKittens报告的1.54倍。
在Flash-KMeans实验中，智能体团队将经过专家优化的Triton内核改写为CUDA WGMMA内核，在计算受限的配置下，最高能将延迟降低约1.5倍，而在内存受限的配置下，其结果则与Triton接近。这说明，该框架在已有专家优化实现的基础上，同样具有进一步探索和改进的能力。
在其他场景中，智能体团队也取得了不错的结果：在AMD MI350X上，将Kimi Delta Attention预填充的性能优化到了vLLM生产HIP内核的3.01倍；在NVIDIA B200上，相比FlashKDA达到了3.44倍；在Apple M4 Pro上，MoE专家卸载服务使Qwen3.8-Flash-Next在4-bit MLX环境下达到了每秒30.3个Token；在RoboDojo机器人操作任务中，系统在留出种子上的得分为62.1，高于排行榜截至10月26日的最高分55.3。
不同于单纯增加推理预算，这些结果指向了另一个方向：对于长期、开放式的代码优化任务，瓶颈不仅在于智能体能否提出更好的修改，也在于当前的智能体团队是否拥有适合这一阶段的角色、协作协议和经验结构。进化智能体团队试图调整搜索过程本身。
不过，这项研究仍有一些局限。四项主要实验各运行了两次，其他场景大多只进行了一次实验，这还不足以支持充分的统计比较。团队表示，后续工作还应包括成本与性能之间的Pareto分析，以及在更高噪声领域中的受控研究。因此，当前结果更适合被理解为长期智能体优化任务的系统设计探索，而不是已经普遍验证的智能体团队协作规律。
本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。