Transformer 内核

DeepSpeed 中的 Transformer 内核 API 可用于创建 BERT Transformer 层，以实现更有效的预训练和微调，它包括 Transformer 层配置和 Transformer 层模块初始化。

这里我们介绍 Transformer 内核 API。有关使用方法的详细信息，请参阅BERT 预训练教程。