DeepSpeed

模型设置

• 训练设置
  • 参数解析
  • 训练初始化
  • 分布式初始化
• 推理设置
  • DeepSpeedInferenceConfig
  • DeepSpeedTPConfig
  • DeepSpeedMoEConfig
  • QuantizationConfig
  • InferenceCheckpointConfig
  • init_inference()

训练 API

• 训练 API
  • 前向传播
  • 反向传播
  • 优化器步骤
  • 梯度累积
  • 模型保存

推理 API

• 推理 API
  • 前向传播

检查点 API

• 模型检查点
  • 加载训练检查点
  • 保存训练检查点
  • ZeRO 检查点 fp32 权重恢复
  • 避免 ZeRO 检查点膨胀
  • 通用检查点（开发中）
• 激活检查点
  • 配置激活检查点
  • 使用激活检查点
  • 配置和检查点随机种子

ZeRO API

• ZeRO
  • 入门
  • 构建大型模型
  • 手动参数协调
  • 以内存为中心的平铺
  • 调试
  • 修改分区状态
  • GPU 内存管理

专家混合 (MoE)

• 专家混合 (MoE)
  • 层规范

Transformer 内核 API

• Transformer 内核
  • DeepSpeed Transformer 配置
  • DeepSpeed Transformer 层

流水线并行

• 流水线并行
  • 模型规范
  • 训练
  • 扩展流水线并行

优化器

• 优化器
  • Adam (CPU)
  • FusedAdam (GPU)
  • FusedLamb (GPU)
  • OneBitAdam (GPU)
  • ZeroOneAdam (GPU)
  • OnebitLamb (GPU)

学习率调度器

• 学习率调度器
  • LRRangeTest
  • OneCycle
  • WarmupLR
  • WarmupDecayLR
  • WarmupCosineLR

Flops 分析器

• Flops 分析器
  • FlopsProfiler
  • get_model_profile()

自动调优

• 自动调优
  • Autotuner

内存使用

• 内存需求
  • 用于估计内存使用的 API
  • 讨论

监控

• 监控
  • TensorBoard
  • WandB
  • Comet
  • CSV 监控器

索引和表格

• 索引

• 模块索引

• 搜索页面