6. DumpDebug Tool

6.1. 主要功能¶

DumpDebug Tool工具的位置在 SGS_IPU_SDK/DumpDebug/ 。该工具是主要功能如下：

解析网络模型数据；
对比不同阶段的网络模型数据；
绘制各层网络模型的Histogram图。

SigmaStar DLA SDK在转换网络时，Caffe、Onnx、TensorFlow的网络模型与SigmaStar浮点网络模型的结果完全一致，SigmaStar定点网络模型与SigmaStar离线网络模型的结果完全一致。

有精度差别的只有在SigmaStar浮点模型转换为SigmaStar定点这个阶段，因此在发现SigmaStar定点网络的结果与原有浮点的结果相差较多时，使用DumpDebug Tool可以检查转换后定点网络的错误。

DumpDebug Tool也可用于直接dump原模型Caffe/Onnx的每一层数据，以便与SigmaStar模型进行对比。

6.2. 使用步骤¶

6.2.1 Dump网络模型中各层数据¶

6.2.1.1 Dump SigmaStar浮点或定点模型¶

在 SGS_IPU_SDK/cfg 文件夹中找到DebugConfig.txt文件，复制到当前运行路径下.
打开DebugConfig.txt，修改文件内容：
```
dumpTensor 
eliminateGarbage 
dequantFixed 
#dumpasstring 
#disableDomainFuseOps 
path=
```
DebugConfig.txt各参数作用:

dumpTensor: Dump网络模型各层数据总开关。

eliminateGarbage: Dump网络模型数据时去除无用数据（建议开启）。

dequantFixed: 针对定点网络模型，将整形数据转换为浮点数据（建议开启）。

dumpasstring: Dump网络模型数据为字符串类型，关闭选项为二进制文件类型。（如果需要[6.2.2 使用auto_dump_debug.sh脚本分析数据]功能，务必关闭此选项）。

disableDomainFuseOps: 转换定点网络模型时，取消网络层融合（建议关闭）。

path=: 指定生成档案的输出全路径（path= 后面确保填写类似 /home/user 的绝对路径。如果path= 后面没有内容或根本没有 path= 的话，则会默认输出到 $HOME 位置。另外，绝对路径或 /home/user 不超过122字节）。
运行simulator对单张图片推演。
推演完成后，会在path=参数指定的目录生成sigma_outtensor_dump.bin，即为Dump网络模型中各层的数据。

Note

Dump完成后重命名sigma_outtensor_dump.bin文件，请勿修改文件后缀。新的Dump会复写sigma_outtensor_dump.bin文件。
DebugConfig.txt文件中disableDomainFuseOps 选项只在使用calibrator将浮点网络模型转换成定点网络模型时有用。其作用是取消网络融合功能，关闭该选项时，定点网络模型和离线网络模型能够在转换时优化网络模型的算子，加速模型的运行，但是也会影响网络的层级结构，使得部分算子的输出不会被Dump到sigma_outtersor_dump.bin文件中。如果需要网络模型的每一层数据，可以打开disableDomainFuseOps选项，重新运行calibrator转换定点网络模型，此时转出的模型没有融合优化，可以输出每层的数据。
对比浮点网络模型和定点网络模型，使用simulator中参数 -t/--type 和 -m/--model 指定不同阶段的模型，即可Dump出不同阶段的网络模型数据。
离线模型不支持Dump Debug,离线模型网络的层级结构Domain已经融合，不能Dump网络模型中各层的数据。
使用calibrator将浮点网络模型转换为定点网络模型时，会在SGS_IPU_SDK根目录下产生tensor_min_max.txt 文件，此文件记录了网络的每层输入和输出的最大与最小值，将在之后分析Dump数据时有用。

6.2.1.2 Dump Caffe原模型¶

工具的位置在 SGS_IPU_SDK/DumpDebug/code/caffe_dump_data.py。

caffe_dump_data.py脚本需要使用 python2 运行（Caffe仅支持python2），用于以字符串形式或者二进制形式dump出Caffe原模型每一层的数据。

使用示例：

（1）caffe_dump_data.py中修改Caffe的运行路径，比如：

caffe_root = '/home/your_caffe_root'
sys.path.insert(0,caffe_root+'/python')

（2）运行脚本：

python2 caffe_dump_data.py \
--model_file caffe_mobilenet_v2.prototxt \
--weight_file caffe_mobilenet_v2.caffemodel \
--i ./img.bmp \
--dump_bin True \
-n ./caffe_mobilenet_v2.py

必选参数说明：

--model_file: Caffe原模型prototxt文件路径。

--weight_file: Caffe原模型caffemodel文件路径。

-i,--image : 图片文件或图片文件夹路径或 指定图片路径列表文件 。

--dump_bin : 是否以二进制形式dump每一层结果。

True:   Dump结果以二进制形式保存于当前运行目录下的
        ./dumpData/caffe_NHWC_outtensor_dump.bin（4维tensor排布格式为NHWC，与SigmaStar模型相同）  
False:  Dump结果以字符串形式保存于当前运行目录下的
        ./dumpData/caffe_NHWC_outtensor_dump.txt（4维tensor排布格式为NHWC，与SigmaStar模型相同）  
        ./dumpData/NHWC（每层输出单独生成文件，4维tensor排布格式为NHWC，与SigmaStar模型相同）  
        ./dumpData/NCHW（每层输出单独生成文件，4维tensor排布格式为NCHW，与原模型排布相同）

-n, --preprocess : 前处理方法，请直接给定前处理python文件路径。需要确保前处理python文件中包含 get_image 函数，并且该函数带有 nchw 参数用来处理原模型4维输入的排布为NCHW（caffe_dump_data.py会直接调用get_image函数来生成模型input数据，并且强制nchw=True）。前处理脚本函数示例：

def get_image(img_path, resizeH=224, resizeW=224, resizeC=3, norm=True, meanB=104, meanG=117, meanR=123, std=58.82, rgb=False, nchw=False):
    ...
    ...
    if nchw:
    # NCHW
    img_norm = np.transpose(img_norm.reshape(resizeH, resizeW, -1), axes=(2, 0, 1))

    return np.expand_dims(img_norm, 0)

Please Note:

若模型为 多输入 时，-n,--preprocess 参数用法需要多个前处理方法，例如 -n preprocess1.py,preprocess2.py 或者 --preprocess preprocess1.py,preprocess2.py
若模型为 多输入 时，-i/--image 参数传入 指定图片路径列表文件 的形式。

6.2.1.3 Dump Onnx原模型¶

工具的位置在 SGS_IPU_SDK/DumpDebug/code/onnx_dump_data.py。

onnx_dump_data.py脚本需要使用 python3 运行（与IPU SDK环境相同），用于以字符串形式或者二进制形式dump出Onnx原模型每一层的数据。

使用示例：

python3 onnx_dump_data.py \
--model_file onnx_mobilenet_v2.onnx \
--image ./img.bmp \
--dump_bin True \
-n onnx_mobilenet_v2.py

必选参数说明：

--model_file: Onnx原模型文件路径。

-i,--image : 图片文件或图片文件夹路径或 指定图片路径列表文件 。

--dump_bin : 是否以二进制形式dump每一层结果。

True:   Dump结果以二进制形式保存于当前运行目录下的  
        ./dumpData/onnx_NHWC_outtensor_dump.bin（4维tensor排布格式为NHWC，与SigmaStar模型相同）  
False:  Dump结果以字符串形式保存于当前运行目录下的  
        ./dumpData/onnx_NHWC_outtensor_dump.txt（4维tensor排布格式为NHWC，与SigmaStar模型相同）  
        ./dumpData/NHWC（每层输出单独生成文件，4维tensor排布格式为NHWC，与SigmaStar模型相同）  
        ./dumpData/NCHW（每层输出单独生成文件，4维tensor排布格式为NCHW，与原模型排布相同）

-n, --preprocess : 前处理方法，请直接给定前处理python文件路径。需要确保前处理python文件中包含 get_image 函数，并且该函数带有 nchw 参数用来处理原模型4维输入的排布为NCHW（onnx_dump_data.py会直接调用get_image函数来生成模型input数据，并且强制nchw=True）。前处理脚本函数示例：

def get_image(img_path, resizeH=224, resizeW=224, resizeC=3, norm=True, meanB=104, meanG=117, meanR=123, std=58.82, rgb=False, nchw=False):
    ...
    ...
    if nchw:
    # NCHW
    img_norm = np.transpose(img_norm.reshape(resizeH, resizeW, -1), axes=(2, 0, 1))

    return np.expand_dims(img_norm, 0)

Please Note:

若模型为 多输入 时，-n,--preprocess 参数用法需要多个前处理方法，例如 -n preprocess1.py,preprocess2.py 或者 --preprocess preprocess1.py,preprocess2.py
若模型为 多输入 时，-i/--image 参数传入 指定图片路径列表文件 的形式。

6.2.2 使用auto_dump_debug.sh脚本分析数据¶

工具的位置在 SGS_IPU_SDK/DumpDebug/auto_dump_debug.sh。

6.2.2.1 对比分析SigmaStar浮点与定点模型¶

auto_dump_debug.sh脚本能够对比样本 bin（sample）和基准 bin（benchmark）的相同output tensor层的COS、MSE和RMSE，需使用[6.2.1.1 Dump SigmaStar浮点或定点模型]中Dump出浮点网络模型和定点网络模型的bin文件。

使用示例：

./auto_dump_debug.sh \
/home/user/SGS_IPU_SDK \
/home/user/sample.bin \
/home/user/benchmark.bin

相关参数说明：

Param1 : SGS_IPU_SDK 的路径，如果在当前位置，只需传目录夹名。

Param2 : 需要对比的已经 dump出来的sample bin路径，此处应为定点网络模型Dump出的bin文件路径。

Param3 : 作为参考的已经 dump出来的 benchmark bin路径，此处应为浮点网络模型Dump出的bin文件路径。

未开启disableDomainFuseOps选项时，完成分析后显示如下：（部分）

3.conv1_xx_xx_xx.xx.output0             OP_TYPE:CONV_2D     MSE:0.000046    COS:0.999898    RMSE:0.014310
4.pool1.xx.output0                      OP_TYPE:MAX_POOL_2D MSE:0.000057    COS:0.999931    RMSE:0.011018
7.res2a_branch1_xx_xx.xx.output0        OP_TYPE:CONV_2D     MSE:0.000076    COS:0.999886    RMSE:0.015652
11.res2a_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000027    COS:0.999652    RMSE:0.023612
16.res2a_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000177    COS:0.999644    RMSE:0.025049
20.res2b_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000069    COS:0.999242    RMSE:0.039121
25.res2b_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000430    COS:0.999452    RMSE:0.030551
28.res3a_branch1_xx_xx.xx.output0       OP_TYPE:CONV_2D     MSE:0.000165    COS:0.998975    RMSE:0.041644
32.res3a_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000139    COS:0.998842    RMSE:0.048416
37.res3a_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000297    COS:0.999069    RMSE:0.041043
41.res3b_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000070    COS:0.998836    RMSE:0.051215
46.res3b_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000366    COS:0.999035    RMSE:0.042863
49.res4a_branch1_xx_xx.xx.output0       OP_TYPE:CONV_2D     MSE:0.000026    COS:0.999282    RMSE:0.035575
53.res4a_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000108    COS:0.998950    RMSE:0.047213
58.res4a_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000149    COS:0.999174    RMSE:0.040582
62.res4b_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000030    COS:0.999020    RMSE:0.046630
67.res4b_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000168    COS:0.999073    RMSE:0.041229
70.res5a_branch1_xx_xx.xx.output0       OP_TYPE:CONV_2D     MSE:0.000305    COS:0.999276    RMSE:0.033715
74.res5a_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000032    COS:0.998723    RMSE:0.053469
79.res5a_xx.xx.output0                  OP_TYPE:RELU        MSE:0.000507    COS:0.998762    RMSE:0.050663
83.res5b_branch2a_xx_xx_xx.xx.output0   OP_TYPE:CONV_2D     MSE:0.000027    COS:0.998182    RMSE:0.064201
88.res5b_xx.xx.output0                  OP_TYPE:RELU        MSE:0.006022    COS:0.998665    RMSE:0.056931
89.pool5.xx.output0                     OP_TYPE:AVG_POOL_2D MSE:0.004321    COS:0.998488    RMSE:0.079694
90.fc1000_reshape#1_output#183.output0  OP_TYPE:ReshapeAliasMSE:0.004321    COS:0.998488    RMSE:0.079694
91.fc1000#185.xx.output0                OP_TYPE:CONV_2D     MSE:0.014197    COS:0.998901    RMSE:0.051447
92.fc1000.xx.output0                    OP_TYPE:ReshapeAliasMSE:0.014197    COS:0.998901    RMSE:0.051447
93.prob.xx.output0                      OP_TYPE:Fix2Float   MSE:0.000000    COS:1.000000    RMSE:0.000152

开启disableDomainFuseOps选项 1.conv1_xx.xx.output0 2.conv1_xx_xx.xx.output0 3.conv1_xx_xx_xx.xx.output0 4.pool1.xx.output0 5.res2a_branch1.xx.output0 6.res2a_branch1_xx.xx.output0 7.res2a_branch1_xx_xx.xx.output0 8.res2a_branch2a.xx.output0 9.res2a_branch2a_xx.xx.output0 10.res2a_branch2a_xx_xx.xx.output0 11.res2a_branch2a_xx_xx_xx.xx.output0 12.res2a_branch2b.xx.output0 13.res2a_branch2b_xx.xx.output0 14.res2a_branch2b_xx_xx.xx.output0 15.res2a.xx.output0 16.res2a_xx.xx.output0 17.res2b_branch2a.xx.output0 18.res2b_branch2a_xx.xx.output0 19.res2b_branch2a_xx_xx.xx.output0 20.res2b_branch2a_xx_xx_xx.xx.output0 21.res2b_branch2b.xx.output0 22.res2b_branch2b_xx.xx.output0 23.res2b_branch2b_xx_xx.xx.output0 24.res2b.xx.output0 25.res2b_xx.xx.output0 26.res3a_branch1.xx.output0 27.res3a_branch1_xx.xx.output0 28.res3a_branch1_xx_xx.xx.output0 29.res3a_branch2a.xx.output0 30.res3a_branch2a_xx.xx.output0 31.res3a_branch2a_xx_xx.xx.output0 32.res3a_branch2a_xx_xx_xx.xx.output0 33.res3a_branch2b.xx.output0 34.res3a_branch2b_xx.xx.output0 35.res3a_branch2b_xx_xx.xx.output0 36.res3a.xx.output0 37.res3a_xx.xx.output0 38.res3b_branch2a.xx.output0 39.res3b_branch2a_xx.xx.output0 40.res3b_branch2a_xx_xx.xx.output0 41.res3b_branch2a_xx_xx_xx.xx.output0 42.res3b_branch2b.xx.output0 43.res3b_branch2b_xx.xx.output0 44.res3b_branch2b_xx_xx.xx.output0 45.res3b.xx.output0 46.res3b_xx.xx.output0 47.res4a_branch1.xx.output0 48.res4a_branch1_xx.xx.output0 49.res4a_branch1_xx_xx.xx.output0 50.res4a_branch2a.xx.output0 51.res4a_branch2a_xx.xx.output0 52.res4a_branch2a_xx_xx.xx.output0 53.res4a_branch2a_xx_xx_xx.xx.output0 54.res4a_branch2b.xx.output0 55.res4a_branch2b_xx.xx.output0 56.res4a_branch2b_xx_xx.xx.output0 57.res4a.xx.output0 58.res4a_xx.xx.output0 59.res4b_branch2a.xx.output0 60.res4b_branch2a_xx.xx.output0 61.res4b_branch2a_xx_xx.xx.output0 62.res4b_branch2a_xx_xx_xx.xx.output0 63.res4b_branch2b.xx.output0 64.res4b_branch2b_xx.xx.output0 65.res4b_branch2b_xx_xx.xx.output0 66.res4b.xx.output0 67.res4b_xx.xx.output0 68.res5a_branch1.xx.output0 69.res5a_branch1_xx.xx.output0 70.res5a_branch1_xx_xx.xx.output0 71.res5a_branch2a.xx.output0 72.res5a_branch2a_xx.xx.output0 73.res5a_branch2a_xx_xx.xx.output0 74.res5a_branch2a_xx_xx_xx.xx.output0 75.res5a_branch2b.xx.output0 76.res5a_branch2b_xx.xx.output0 77.res5a_branch2b_xx_xx.xx.output0 78.res5a.xx.output0 79.res5a_xx.xx.output0 80.res5b_branch2a.xx.output0 81.res5b_branch2a_xx.xx.output0 82.res5b_branch2a_xx_xx.xx.output0 83.res5b_branch2a_xx_xx_xx.xx.output0 84.res5b_branch2b.xx.output0 85.res5b_branch2b_xx.xx.output0 86.res5b_branch2b_xx_xx.xx.output0 87.res5b.xx.output0 88.res5b_xx.xx.output0 89.pool5.xx.output0 90.fc1000_reshape#1_output#183.output0 91.fc1000#185.xx.output0 92.fc1000.xx.output0 93.prob.xx.output0

6. DumpDebug Tool

6.1. 主要功能¶

6.2. 使用步骤¶

6.2.1 Dump网络模型中各层数据¶

6.2.1.1 Dump SigmaStar浮点或定点模型¶

6.2.1.2 Dump Caffe原模型¶

6.2.1.3 Dump Onnx原模型¶

6.2.2 使用auto_dump_debug.sh脚本分析数据¶

6.2.2.1 对比分析SigmaStar浮点与定点模型¶

6.2.2.2 对比分析SigmaStar（浮点/定点）模型与原模型（Caffe/Onnx）¶

6.3. 使用histogram.py绘制各层网络模型的Histogram图¶

6.4. 错误处理¶

6.5. 使用sim_optimizer优化模型精度¶

6.5.1 必选参数¶

6.5.2 可选参数¶

6.5.3 使用示例¶

6.6. 相关问题汇总¶