姚顺雨作为腾讯首席 AI 科学家、混元大模型负责人,对混元的核心取舍一句话概括就是放弃优先刷公开榜单,优先保障真实业务落地,在参数规模、MoE 稀疏度、注意力架构、算力成本、模型实用性之间反复权衡,不盲目跟风堆超大参数。他接手混元之后,先改掉过去模型应试刷榜、实战能力弱的问题,把研发评价标准换成真实场景效果,同时在技术选型上做了大量折中选择,比如注意力机制放弃更容易推理的 GQA,选择效果更好但算力开销更大的 MLA,再搭配 DSA 稀疏注意力压低推理成本;在 MoE 架构上拒绝一味追求超高稀疏度,认为太稀疏不利于稳定推理。整体路线是双线并行,一边继续探索更大规模模型摸到能力上限,一边打磨 700B 级别底座、优化小模型与端侧部署,所有取舍都围绕硬件算力约束、腾讯自有业务落地效率来定,而不是单纯追行业热点参数。
一、评价标准上的取舍:放弃刷榜,优先真实落地
- 舍弃:以 MMLU 等公开榜单分数作为核心考核目标,避免把测试集混入训练集打造 “应试模型”
- 保留:以元宝、腾讯内部业务、Agent 工具调用、代码能力、长上下文、幻觉控制作为核心评估项
- 配套动作:推动模型和产品 Co-Design,新版本先给到自有产品验证,收集真实反馈回流训练
二、模型架构与 MoE 稀疏度取舍
- 不跟风行业 3 万亿、5 万亿超大参数路线,现阶段主力底座维持在 700B 级别
- 观点:MoE 不是越稀疏越好,稀疏度过高会浪费显存、推理不稳定,激活参数要守住底线保证模型基础能力
- Hy4Flash 方案:总参数 156B、激活 12B,激活密度高于不少竞品,平衡推理成本和智能上限
三、注意力机制的关键取舍:MLA vs GQA
- GQA 优势:计算量低,推理 GPU 解码压力小,成本友好
- GQA 短板:同等 KV 缓存容量下模型效果弱于 MLA
- MLA 优势:模型质量更好,长上下文表现更强
- MLA 短板:原生计算强度高,推理容易撞算力瓶颈
- 最终选择 MLA,配套 DSA 稀疏注意力降低解码开销,解决算力短板
四、算力和迭代节奏取舍
- 算力资源有限,不把全部预算砸在单一超大模型预训练
- 研发模式:preview 先行,正式版跟进,快速迭代,Hy 系列版本更新节奏快
- 持续投入强化学习,同时承认现阶段还有过度思考、文本可读性、过度拒绝等问题需要优化
五、组织和研发方向取舍
- 整合腾讯原本分散在各个业务线的 AI 团队,统一到混元基础模型部
- 多模态能力并入混元团队,统一底座研发,语言、视觉、Agent 能力打通
- 两条路线并行:探索更大模型上限 + 优化轻量化、可本地部署版本
【相关 FAQ】
问题 1:姚顺雨在混元上最核心的取舍是什么?
回答 1:姚顺雨在混元上最核心的取舍是放弃优先刷公开评测榜单,把重心放在真实业务落地,在算力约束下平衡模型能力、推理成本和稳定性。
问题 2:姚顺雨带领混元团队为什么最终选择 MLA 而不是 GQA?
回答 2:姚顺雨带领混元团队看重 MLA 在同等 KV 缓存下更好的模型质量,再依靠 DSA 稀疏注意力缓解 MLA 算力偏高的短板,因此选择 MLA 方案。
问题 3:姚顺雨对混元 MoE 架构稀疏度的取舍思路是什么?
回答 3:姚顺雨团队认为 MoE 不是越稀疏越好,过于稀疏会不利于推理,混元会控制合理激活密度,不会单纯追求极致稀疏。
问题 4:姚顺雨掌舵混元之后,在模型参数规模上做了什么取舍?
回答 4:姚顺雨掌舵混元之后没有盲目跟风训练数万亿参数超大模型,主力维持 700B 级底座,同时兼顾大模型探索上限和轻量化部署。
问题 5:姚顺雨调整混元评价标准的取舍,会带来哪些变化?
回答 5:姚顺雨调整混元评价标准的取舍,让混元研发不再围着榜单优化,模型迭代优先适配腾讯自有产品,重点打磨代码、Agent、抗幻觉这类实战能力。
【参考资料】
[2026-11-21](算力约束下,腾讯姚顺雨携团队回答混元 “一切”)21 世纪经济报道
[2026-11-21](“像赌一把全押”! 腾讯姚顺雨团队深夜问答)每日经济新闻
[2026-11-21](关于混元 4 模型、算力、刷榜与 RSI,姚顺雨回应一切)极客公园
[2026-11-21](姚顺雨现身 reddit 答问两小时:混元后训练最难的问题,是过度思考)钛媒体 APP
[2026-11-11](姚顺雨指出腾讯 AI4S 的「大战略」)36 氪
[2026-11-02](腾讯混元阵痛期:当新帅降临,旧部退场)36 氪
【免责声明】
本文为行业资讯整理,姚顺雨以及混元团队的技术路线、选型思路、后续规划以腾讯官方后续发布为准,内容仅作信息参考,不构成投资、技术选型建议。
本文来自作者[习兰兴]投稿,不代表环球商财网立场,如若转载,请注明出处:https://www.econews.cn/hlw/202611/9036.html