浮点运算分析器


DeepSpeed 中的浮点运算分析器可以分析模型的前向传播,并测量其参数、延迟和浮点运算。DeepSpeed 浮点运算分析器可以与 DeepSpeed 运行时一起使用,也可以作为独立软件包使用。

在使用 DeepSpeed 进行模型训练时,浮点运算分析器可以在 deepspeed_config 文件中配置,无需更改用户代码。要在 DeepSpeed 运行时之外使用浮点运算分析器,只需安装 DeepSpeed 并导入 flops_profiler 包即可直接使用 API。

请参阅浮点运算分析器教程以获取使用详情。

浮点运算分析器