推理 API

deepspeed.init_inference() 返回一个 推理引擎，其类型为 InferenceEngine。

for step, batch in enumerate(data_loader):
    #forward() method
    loss = engine(batch)

前向传播