这篇文章主要从计算资源和内存资源两个方面介绍了Transformer 语言模型成本问题，重点关注训练成本。为如何降低模型训练门槛提供了不错的思路。 #推荐阅读
计算资源：
· 训练所需计算量的计算公式
· 权衡参数与数据集大小
· 一些工程要点
内存资源：
· 模型参数精度对推理内存的影响
· 推理所需总内存的计算公式
· 精度、优化器状态、梯度、批大小的影响
· 分布式训练
对内存的需求
Transformer 语言模型的资源成本是训练成本和推理成本两个方面。其中，训练成本主要由计算资源和内存资源两个方面构成。
计算资源方面，我们可以通过以下公式来计算训练所需的计算量：计算量 = 12 x 隐藏单元数^2 x 序列长度 x 最大层数。但是，由于计算资源有限，我们需要权衡参数和数据集的大小来确定合适的模型大小和训练数据集大小。
同时，为了提高训练效率，我们还需要注意一些工程要点，例如使用分布式训练、减少不必要的计算以及对训练数据进行预处理等。
在内存资源方面，首先需要注意的是模型参数的精度对推理内存的影响。一般来说，浮点数精度越高，所需的内存就越大。因此，在实际运用中，我们需要根据具体情况选择适当的精度。
另外，推理所需的总内存还需要考虑影响因素，如精度、优化器状态、梯度和批大小等。为有效降低模型内存消耗，我们可以采用多种优化方式，例如使用全局归一化和粗粒度并发等。
最后，分布式训练可以有效降低内存需求和计算量，从而提升计算效率和模型性能。
综上所述，Transformer 语言模型的资源成本问题需要从多个方面综合考虑，通过合适的模型大小、数据预处理和优化方式等，可以有效提高模型的训练效率和推理性能。