阅前须知Ⅰ. IPU SDK 支持

1. Caffe支持算子¶

Please Note:

• Upsample算子在prototxt中这样描述：

  layer {
      bottom: "layer85-conv"
      top: "layer86-upsample"
      name: "layer86-upsample"
      type: "Upsample"
      upsample_param {
          scale: 2
      }
  }
  

  scale参数与Deconvolution的Stride含义相同。但需注意Upsample相当于权重全为1的Deconvolution算子。

• ROIPooling算子在prototxt中这样描述：

  layer {
      name: "roi_pool5"
      type: "ROIPooling"
      bottom: "conv5_3"
      bottom: "rois"
      top: "pool5"
      roi_pooling_param {
          pooled_w: 7
          pooled_h: 7
          spatial_scale: 0.0625
      }
  }
  

  Roi_pooling_param仅支持pooled_w，pooled_h和spatial_scale。Float模型的rois输入为rpn层输出的坐标，Fixed和Offline模型的rois输入为rpn层输出坐标乘spatial_scale值后再量化到int16后送入模型。

2. TensorFlow支持算子¶

3. Onnx支持算子¶

4. SigmaStar IPU SDK对模型的限制¶

• 对于指定维度的Softmax，我们只支持对最内维度的操作（多余多维Tensor的Softmax运算，我们只支持Softmax制定在最内维度做）。

• 除第一层Conv外，其他层的Conv DI维度（即NHWC 中C这个维度）越大效率会越高，最大支援2048。

• Math类算子（包括Add、Sub、Mul、Div等元素操作的算子），如果右操作数是scaler（单个数字） 或者 1 维向量（HW维度数据相同，C维度不同），效率会更高。

• 网络结构中尽量减少一个算子的输出被多个算子作为输入的情况，如ResNet的残差结构，GoogLeNet的Inception模块等。可参考构建BW友好型模型

5. 模型性能优化规则¶

（1）对于卷积的性能优化

• kernel size 3x3 最好，特别对于首层。

• kernel size 1x1 的时候，input tensor 最内维度shape值对齐到16 最好。

（2）对于DMA算子

• concatenation算子比pack算子性能更好。

• split比slice算子性能更好。

• 尽量减少在最内维上做transpose。

• 单口elementwise 算子的const 操作数最好是右操作数，即input[1]。

（3）综合部分

• Tensor的维度为4最好。

• Tensor最内维的shape值对齐到32最好。

• Softmax最好只对最内维度操作。

• ReduceMax、ReduceMin、ReduceSum最好坍塌的纬度是相邻的。

（4）模型结构优化

• case1: Pad + Conv2D/DepthwiseConv

• ——conv或DepthwiseConv前的pad会被合并到卷积中，pad几乎不占用时间。

示例：

• case2: Conv2D/DepthwiseConv + 单口elt

• ——conv后的单口elt会被合并，目前支持单口mul，单口add，单口div（会被转换成单口mul），且如果elt连续，则会被一起合并（见示例一和示例二），双口的elt则不会被合并（见示例三）。

示例一：

示例二：

示例三：

• case3: Conv2D/DepthwiseConv + BatchNorm

• ——Mul和Add算子会和卷积一起运算。我们会把BatchNorm转换成Mul+Add, 所以可以合并。

• case4: Pad + avgPooling

• ——pool前的pad会被合并,但是pool后的pad不会被合并 （globalpool会被转成对应的avg或max, 故也会与pad合并）

示例：

• case5: 连续的transpose会自动合并为一个。

示例：

• case6: 连续的单口的相同elementwise算子会合并。

• ——elt的type需相同，输入可以不同

示例：

• case7: 单独的单口mul和单口add，会变成MultAdd单一的算子。

• ——输入最内维需相等。

示例：

注意：这里单口意思为一个数据是constant的情况

• case8: 模型中间的conv + 单口elt + relu

• ——只有模型中间层的结构会被合并，若连接了模型输出则不会被合并（但会进行内存优化，详见内存优化部分的说明）。

示例：

• case9: 模型中间的conv + batchnorm + relu

• 参考case8。

示例：

• case10: 模型中间的conv + relu

• 参考case8。

示例：

（5）模型内存优化

• case1: Conv2D/DepthwiseConv2d + elementwise

• ——conv后的elt会被融合，融合指tensor共享一块memory，目前支持mul（单口、双口），add（单口、双口）, div（单口，不支持双口），且环形elt也会参与融合

示例一：

示例二：

• case2: Conv2D/DepthwiseConv2d + relu

• ——conv后的relu会被融合

示例：

• case3: 结构优化结合内存优化

• ——如conv后的elt会被结构优化，而conv后的relu会被内存优化，见示例。

示例：

（6）构建BW友好的AI模型

BW友好的AI模型指模型数据尽可能不占用系统总线BW资源，BW计算公式如下:

BW = Input BW + Output BW + Const BW + Variable BW

其中，可以通过减少variable bw来提升模型性能,variable bw将受以下两点影响：

• (1) tensor数据量太大

• (2) tensor的生命周期太长

示例一：BW友好型

示例二：tensor的生命周期太长

示例三：tensor数据量太大

上图展示了三种常见的模型结构图，其中图一所示的结构符合模型优化规则，图二、图三所示的结构将影响模型性能。构建模型时请尽可能减少图二、图三结构的使用。