推理 API

deepspeed.init_inference() 返回一个类型为 InferenceEngine 的推理引擎。

for step, batch in enumerate(data_loader):
    #forward() method
    loss = engine(batch)

前向传播

deepspeed.InferenceEngine.forward(self, *inputs, **kwargs)

执行前向传播

参数

• *inputs – 可变长度输入列表

• **kwargs – 可变长度关键字参数