在两台 Nvidia DGX Spark 上训练 ChatGPT 式模型：三种方案仅一种提速

在两台 Nvidia DGX Spark 微型超级计算机上从零训练 ChatGPT 式模型时，Transformer Engine 的 FP8、NVFP4 和 nanochat 自有 FP8 代码三种方案中，仅一种实际带来提速。作者使用 Andrej Karpathy 的 nanochat 比较三种训练计算方式，但原文未指出具体哪种方案胜出。