激活检查点

DeepSpeed 中的激活检查点 API 可用于实现一系列与激活检查点相关的内存优化。这包括在使用模型并行性时的跨 GPU 激活分区、CPU 检查点、连续内存优化等。

请参阅 DeepSpeed JSON 配置获取完整配置。

在此，我们介绍激活检查点 API。有关示例用法，请参阅启用 DeepSpeed 的 Megatron-LM 教程。

配置激活检查点

使用激活检查点

配置和检查随机种子