“可以这么理解。”张景明说，“但更深层的问题是，随着模型参数规模增加到万亿级别，这种冲突会被放大。小模型可以通过牺牲某些能力来妥协，但大模型理论上应该能同时掌握多种模式，前提是训练过程足够稳定，能让它找到那个高维空间中的平衡点。”
他关掉诊断工具，看向赵静：“你们用的优化器是什么？学习率调度策略呢？”
“Ada优化器，馀弦退火学习率，warp（预热）阶段用了五万步。”工程师调出超参数配置。
“试试换成Lion优化器。”张景明建议，“虽然理论性质不如Ada清淅，但在我们最近的实验里，它对梯度冲突的鲁棒性更好。另外，学习率可以再降低一个数量级，延长训练时间。”
“降低一个数量级？”有人惊呼，“那训练周期要从三个月延长到两年！”
“或者增加batch size（批量大小），保持总计算量不变。”张景明平静地说，“但问题是，你们的硬件允许吗？”
所有人看向那排服务器。”AI训练芯片，每张芯片的显存是80GB。当前的batch size已经调到了硬件极限，再大就会爆显存。
“我们可以用梯度累积……”一名工程师刚开口，就被张景明打断了。
“梯度累积只能仿真大batch，不能解决表示学习中的根本冲突。而且会增加通信开销，训练更慢。”
机房陷入沉默。问题似乎又绕回了原点：要么接受极慢的训练速度，要么想办法解决硬件限制。
赵静的手机震动起来。她看了一眼来电显示，是陈醒。
“情况怎么样？”陈醒的声音从听筒传来，背景音里有机器的运转声，他应该还在某个实验室。
赵静走到机房角落，压低声音汇报了张景明的发现。
电话那头沉默了几秒，然后陈醒说：“也就是说，我们遇到了大模型训练的典型瓶颈：数据、算法、算力，三个因素互相制约。”
“是的。。损失函数的震荡会越来越严重，最终导致训练崩溃。”
“他有什么具体建议？”
“换优化器，降学习率，可能需要重新设计部分模型架构来缓解多语言冲突。但这些都需要时间验证，而且……”赵静尤豫了一下，“可能会推迟原定于明年六月的发布计划。”
“推迟多久？”
“至少六个月。这还是乐观估计。”
电话里传来陈醒深吸一口气的声音。赵静能想象他此刻的表情，眉头紧锁，手指无意识地敲击桌面，那是他面对重大决策时的习惯动作。
“如果……”陈醒缓缓开口，“如果我们不追求单一的超大模型，而是转向模型矩阵呢？”
“模型矩阵？”
“对。一个大模型解决所有问题的路线，可能已经遇到边际效应了。与其把所有数据塞进一个万亿参数模型，不如训练一组专家模型，每个专门负责某个领域或语言，然后用路由机制动态组合。”
赵静快速思考这个方案的可行性：“这样训练复杂度会降低，单个模型的参数规模可以控制在百亿级别，梯度冲突问题会缓解。但集成多个模型需要更复杂的前端和后端架构，推理延迟会增加，而且模型之间的知识迁移可能是个问题。”
“但至少能走通。”。我们等不起两年。”
“我明白了。”赵静点头，“我会和张博讨论模型矩阵方案的细节。”
挂断电话，赵静回到人群。张景明正在白板上画着复杂的数学公式，试图从理论上推导梯度冲突的临界条件。
“张博，有个新想法。”赵静打断他，“如果我们不做单一万亿模型，而是做十个千亿参数的专家模型，组合成模型矩阵呢？”
张景明停下笔，思考了大约一分钟：“技术上可行。专家模型训练更稳定，可以针对不同数据类型做差异化优化。但路由网络的设计是关键，如果路由不准，整体性能会下降很多。”
“路由网络可以用一个小型大模型来实现，专门学习如何分配问题给专家。”
“那相当于多了一层模型，增加了系统复杂性。”张景明擦掉白板上的一部分公式，开始画新的架构图，“不过……这确实是个出路。而且专家模型可以并行训练，缩短总体时间。”
他越说越快：“我们可以把现有数据按语言和领域重新划分，中文语料训练两个专家，英文语料训练两个，代码一个，学术一个，对话一个……剩下四个做多模态预留。路由模型用百亿参数就够了，专门学习任务分类和专家选择。”
在场的工程师们开始兴奋起来。困扰他们数周的问题，似乎找到了一个可行的解决方案。虽然这意味着要放弃“训练出世界顶尖单一模型”的野心