自动调优

模型训练中的一个痛点是找到好的性能相关配置，例如微批次大小，以充分利用硬件并获得高吞吐量。这种配置探索过程通常是手动完成的，但它很重要，因为模型训练会重复多次，并且受益于使用良好的配置。手动调整过程不仅耗时，而且结果依赖于硬件。这意味着在一种硬件上的良好配置可能不是在另一种不同硬件上的最佳配置。因此，用户必须再次手动调整配置。使用 DeepSpeed，可能有更多配置参数可能会影响训练速度，因此手动调整配置会更加繁琐。

DeepSpeed 自动调优器缓解了这种痛点，并自动发现提供良好训练速度的最佳 DeepSpeed 配置。自动调优器使用模型信息、系统信息和启发式方法来有效地调整影响计算和内存效率的系统旋钮，例如 ZeRO 优化阶段、微批次大小以及许多其他 ZeRO 优化配置。它不仅减少了用户花在调优上的时间和资源，而且还可以发现比手动调整方法更好的配置。