量化模型如何输出 FLOAT16 格式？

[edisondeng]

我们给 Tina 5.0 里的 lenet 源码添加前处理与后处理代码。使得lenet可以直接读取28X28像素的 JPG 文件，然后输出 0～9 的 SOFTMAX。引用编译好的 /etc/model/lenet.nb 模型， 输出正常。我们的后处理代码把输出tensor当作是FLOAT16格式解码，输出结果正常。这说明模型输出的就是FLOAT16格式。我们自己重新做了一个模型在PC端成功识别了MNIST数据集。我们按照文档将这个模型转成NB格式，并利用上述我们修改好的lenet程序引用我们新转的NB做推演，我们发现这时候模型输出的是UINT8格式。我们尝试修改pegasus命令行参数改变量化后的格式，但是pegasus提示只支持 UINT8，INT8， INT4之类格式，没有FLOAT16格式。请问要怎么操作才能量化输出成FLOAT16格式？Tina 5.0 里的提供的lenet.nb为什么是FLOAT16?

[YuzukiTsuru]

pegasus inference --model lenet.json --model-data lenet.data --batch-size 1 --dtype float32
--device CPU --with-input-meta lenet-inputmeta.yml --postprocess-file lenet-postprocess-file.yml
--iterations 10

pegasus export ovxlib --model lenet.json --model-data lenet.data --dtype float32 --batch-size 1
--save-fused-graph --target-ide-project 'linux64' --with-input-meta lenet-inputmeta.yml
--postprocess-file lenet-postprocess-file.yml --output-path ovxlib/lenet/lenet --pack-nbg-unify
--optimize "VIP9000PICO_PID0XEE" --viv-sdk ${VIV_SDK}

浮点部署直接跳过量化步骤，虽然精度得到保障但是速度相较于定点成数量级下降，不建议使用