自动调优

模型训练中的一个痛点是,需要找出能够充分利用硬件并实现高吞吐量的、与性能相关的良好配置,例如微批次大小。这个配置探索过程通常是手动完成的,但由于模型训练会重复多次,并且能从良好配置中获益,因此它非常重要。手动调优过程不仅耗时,而且结果还依赖于硬件。这意味着在一种硬件上表现良好的配置,在另一种不同的硬件上可能不是最佳的。因此,用户必须再次手动调优配置。使用 DeepSpeed 时,有更多的配置参数可能会影响训练速度,从而使得手动调优配置变得更加繁琐。

DeepSpeed 自动调优器解决了这个痛点,它能自动发现提供良好训练速度的最佳 DeepSpeed 配置。自动调优器利用模型信息、系统信息和启发式方法,高效地调整影响计算和内存效率的系统参数,例如 ZeRO 优化阶段、微批次大小以及许多其他 ZeRO 优化配置。它不仅减少了用户在调优上花费的时间和资源,还能发现比手动调优方法更好的配置。

请参阅自动调优教程了解使用详情。

自动调优器

deepspeed.autotuning.autotuner

别名: <module ‘deepspeed.autotuning.autotuner’ from ‘/home/docs/checkouts/readthedocs.org/user_builds/deepspeed/checkouts/latest/deepspeed/autotuning/autotuner.py’>