激活检查点

DeepSpeed 中的激活检查点 API 可用于启用一系列与激活检查点相关的内存优化。这些包括在使用模型并行时跨 GPU 的激活分区、CPU 检查点、连续内存优化等。

有关完整集合，请参阅DeepSpeed JSON 配置文件。

这里我们介绍激活检查点 API。例如，请参阅Megatron-LM 教程，了解如何启用 DeepSpeed。

配置激活检查点

使用激活检查点

配置和检查点随机种子