月之暗面 GTC 2026 披露 Kimi K2.5 技术路线：MuonClip、线性注意力与 Agent Swarm 重构三大基础组件

7 月 17 日，月之暗面创始人杨植麟在 GTC 2026 上发表题为「How We Scaled Kimi K2.5」的演讲，首次系统披露 Kimi K2.5 背后的技术路线：把 AI 训练中沿用近十年的三个基础组件重新做一遍——2014 年的 Adam 优化器、2017 年的注意力机制、2015 年的残差连接，月之暗面各给出一个替代方案，且全部开源。

三个替代方案分别是：优化器侧的 MuonClip（在 Muon 基础上加入 QK-Clip 稳定技术，支撑万亿参数级模型无损失尖峰训练）；注意力侧的线性注意力变体（面向百万级上下文降低推理开销，K3 已实现 1M token 上下文）；以及以 Agent Swarm 多智能体集群替代传统单体残差扩展思路的架构层改造，官方称 K2.5 起 agent 集群可并行调度、效率较单 agent 提升数倍。

这条路线的落地成果已经摆在台面上：Kimi K3 于 7 月 16 日发布，以 2.8 万亿参数 MoE + 1M 上下文 + 原生视觉成为全球首个开源 3T 级模型，多项基准对标 Claude Fable 5 与 GPT-5.6 Sol。从 K2.5 的技术奠基到 K3 的规格兑现，月之暗面把「重写 Transformer 地基」从口号变成了可复现的开源工程。

对开发者而言，这次披露的价值在于方法论而非单一模型：MuonClip 优化器与线性注意力组件均已开源，可直接用于其他大模型训练；Agent Swarm 的调度思路也为 agent 类产品架构提供了参考范式。