直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
在稀疏这一方向上，孟繁岐选择了细粒度，矩阵层面的稀疏。
DS则选择了通道层面的MoE，混合专家模型。
简单来说，DS选择把模型拆分为16/32个专家，就像是把一块蛋糕均分切成16/32块。
每一块都是不同的味道，每一个专家更加专注于不同的知识。
根据具体的情况，会有一个门控系统，来决定哪些专家参与计算。
而孟繁岐的野心更甚，他想要从根本上将整个模型在原子级别拆分，细粒度地对所有权重进行大刀阔斧地裁减，直到原本大小的16/32分之一。
从理论上说，这种方式的上限更高，MoE的稀疏更显得粗糙。
另一方面，孟繁岐也有愿景，想要增强国内硬件的竞争力。
因为英伟达的设备，是无法支持这种细粒度稀疏计算的。
倘若能够先发展国内计算设备，适配这种技术，就能够在制程等诸多硬件技术落后的情况下，达到更快的推理效果。
换言之，孟繁岐又一次将希望寄予了发展周期更长的硬件厂商，那么在这方面被其他人赶上，倒也不是什么奇怪的事情了。
虽然具体实现上稍显不同，但总体来说，DS完成了孟繁岐在技术上的两点宏观展望。
从其余的许多技术细节当中，孟繁岐可以很强烈地读到，他们的开发之路走得也并不顺利。
比如说混合专家MoE，很容易让一两个专家变成懂王，什么都要参与，很多其他的专家渐渐变成了挂件，貌似在参与，其实完全就是围观的观众。
如果增加额外的损失
本章未完，请点击下一页继续阅读！