DeepSpeed
  • 训练设置
  • 推理设置
  • 训练 API
  • 推理 API
  • 模型检查点
  • 激活检查点
  • ZeRO
  • 专家混合 (MoE)
  • Transformer 内核
  • 流水线并行
  • 优化器
  • 学习率调度器
  • 浮点运算分析器
  • 自动调优
  • 内存需求
  • 监控
DeepSpeed
  • DeepSpeed
  • 在 GitHub 上编辑

DeepSpeed

模型设置

  • 训练设置
    • 参数解析
    • 训练初始化
    • 分布式初始化
  • 推理设置
    • DeepSpeedInferenceConfig
    • DeepSpeedTPConfig
    • DeepSpeedMoEConfig
    • QuantizationConfig
    • InferenceCheckpointConfig

训练 API

  • 训练 API
    • 前向传播
    • 反向传播
    • 优化器步进
    • 梯度累积
    • 模型保存
    • 训练多个模型

推理 API

  • 推理 API
    • 前向传播

检查点 API

  • 模型检查点
    • 加载训练检查点
    • 保存训练检查点
    • ZeRO 检查点 fp32 权重恢复
    • 避免 ZeRO 检查点膨胀
    • 通用检查点(开发中)
  • 激活检查点
    • 配置激活检查点
    • 使用激活检查点
    • 配置和检查点随机种子

ZeRO API

  • ZeRO
    • 入门
    • 构建大型模型
    • 手动参数协调
    • 内存中心分块
    • 调试
    • 修改分区状态
    • GPU 内存管理
    • 卸载状态

专家混合 (MoE)

  • 专家混合 (MoE)
    • 层规范

Transformer 内核 API

  • Transformer 内核
    • DeepSpeed Transformer 配置
    • DeepSpeed Transformer 层

流水线并行

  • 流水线并行
    • 模型规范
    • 训练
    • 扩展流水线并行

优化器

  • 优化器
    • Adam (CPU)
    • FusedAdam (GPU)
    • FusedLamb (GPU)
    • OneBitAdam (GPU)
    • ZeroOneAdam (GPU)
    • OnebitLamb (GPU)

学习率调度器

  • 学习率调度器
    • LRRangeTest
    • OneCycle
    • WarmupLR
    • WarmupDecayLR
    • WarmupCosineLR

浮点运算分析器

  • 浮点运算分析器

自动调优

  • 自动调优
    • 自动调优器

内存使用

  • 内存需求
    • 内存使用估计 API
    • 讨论

监控

  • 监控
    • TensorBoard
    • WandB
    • Comet
    • CSV 监控器

索引和表格

  • 索引

  • 模块索引

  • 搜索页面

下一页

© 版权所有 2020, Microsoft。

使用 Sphinx 构建,并使用 Read the Docs 提供的主题。