%。
也就是说，当你使用万卡集群的时候，想让每一张卡都能顺顺利利地把工作给完成了，这个可能性只有可怜的三分之一。
而只要一张卡出现了问题，就势必会对整个集群产生影响，中止训练。
为了避免这种一卡罢工，万卡围观的情况发生，孟繁岐投入了大量的资源和时间。
可GPT4o，以及具有推理功能的o1之上，使用旧有办法继续提升性能的空间并不太大了。
孟繁岐这边收效甚微，便给了追赶者们极大的机会。
原本性能差了closeai许多的诸多大厂们，都在过去的这段时间里大大缩短了大模型性能之间的差距。
“从根本上来看，硬件设备对我的限制其实远超软件算法。”孟繁岐此前一直认为自己失去先知优势后，无法继续软件上的突破将会是最大的问题。
如今看来并非如此，随着与孟繁岐关系亲近的那个男人下台，拜老登政府限制英伟达的计算设备出口中国。
这让一心想要走在算法技术最前沿倍感压力。
虽然以他和老黄以及英伟达的关系，可以通过诸多方式绕开此禁令。可不论如何，这都称得上是巨大的困扰。
倍感无奈的孟繁岐开始向内寻求算法突破，以期待能够降低自己对显卡设备的需求。
可原本孟繁岐比较看好的两个技术方向，都没有取得预期的成功。
其一，孟繁岐很早就意识到，早期深度学习模型大多依赖于FP32（32位浮点数）的高精度计算，虽然结果准确，但计算量和存储需求巨大。
根据前世的经验，孟繁岐早早就推动了FP16（16位浮点数）训练和推理。这种格式可以节约一半的计算资源，虽然会稍稍影响模型的性能，但在针对性的优化下几乎可以忽略不计，这也是前世的主流训练模式。
如今，被计算设备所限制的孟繁岐被迫探索准确度更差的FP8（8位浮点数）。
前世的通识是，该模式计算效率极高，但精度损失更大，适用范围非常有限。
往往是在训练完成之后，进行FP8的格式转换，以节约模型的推理使用成本。直接在训练的时候采用这种格式是从未被证实过的。
为此，黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持，但半年的时间过去了，孟繁岐并没有看到自己预期的效果。
另一方面上，孟繁岐同时在寻求“稀疏”这一概
本章未完，请点击下一页继续阅读！