大佬 我看到一些lenet demo中有提到nne 和ppu计算单元,我用的模型中有sigmoid层,输出的tensor有一半是float类型,是不是表示这个模型在pp模块运行呀,这个模块是不是相较于nn模块速度会慢? 是不是只有改模型结构才能提速?还有就是nbinfo是一个解析nb文件的一个可执行文件吗 ?
上边是速度问题!同时我也遇到了精度问题,按照demo量化。无论是int8还是uint8都得到错误的结果,即便精度下降也不应该下降这么离谱,不知道各位有没有遇到过这种情况
大佬 我看到一些lenet demo中有提到nne 和ppu计算单元,我用的模型中有sigmoid层,输出的tensor有一半是float类型,是不是表示这个模型在pp模块运行呀,这个模块是不是相较于nn模块速度会慢? 是不是只有改模型结构才能提速?还有就是nbinfo是一个解析nb文件的一个可执行文件吗 ?
上边是速度问题!同时我也遇到了精度问题,按照demo量化。无论是int8还是uint8都得到错误的结果,即便精度下降也不应该下降这么离谱,不知道各位有没有遇到过这种情况
@yuzukitsuru 额 大佬 请问啥事nn模块和pp模块 nn模块是指torch.nn 吗 还是什么呀 网上没查到什么信息
picodet是用paddlepaddle训练的,模型转换用的是paddle2onnx,然后用onnxsim简化
大佬们,pegasus上测试picodet模型算力MACC为860M,yolov3为33G,
但部署在V853上测试yolov3 200多ms,picodet却为400多ms,这是为什么呀。
@yuzukitsuru 哦哦 感谢回复 确实通用,也成功用了C++。现在遇到一个问题是我后处理用opencv makefile中加了include和lib 但是编译的时候还是找不到opencv 请问这个opencv要怎么加呀
哦哦 用mmo PKG_NAME 可以单独编译生成可执行文件,所以第二个问题解决了。
第一个问题,可以参考yolov3 demo代码 但我突然发现都是C语言,而我需要用C++,请问全志npu模型部署有C++案例吗
@cruise33 在 模型怎么部署到v853板子里 中说:
MPP_sample
感谢回复,我发现用mmo PKG_NAME 就可以单独编译可执行文件了,如yolov3 就是 mmo yolov3,就会在/out/v853/vision/openwrt/build_dir/target/yolov3 目录下生成可执行文件
大佬们,现在有个问题,模型量化后执行以下命令导出代码
pegasus export ovxlib --model lenet.json --model-data lenet.data --dtype quantized --model-quantize lenet.quantilize --batch-size 1 --save-fused-graph --target-ide-project 'linux64' --with-input-meta lenet-inputmeta.yml --postprocess-file lenet-postprocess-file.yml --output-path ovxlib/lenet/
lenet --pack-nbg-unify --optimize "VIP9000PICO_PID0XEE" --viv-sdk ${VIV_SDK}
pegasus export ovxlib --model lenet.json --model-data lenet.data --dtype quantized --model-quantize lenet.quantilize --batch-size 1 --save-fused-graph --target-ide-project 'linux64' --with-input-meta lenet-inputmeta.yml --postprocess-file lenet-postprocess-file.yml --output-path ovxlib/lenet/
lenet --pack-nbg-viplite --optimize "VIP9000PICO_PID0XEE" --viv-sdk ${VIV_SDK}
按照教程两个命令只有选项--pack-nbg-unify 和 --pack-nbg-viplite 有差别,而且unify是仿真侧的代码,viplite是部署代码,但是acuity-toolkit-binary 6.6.1版本没有了选项--pack-nbg-viplite ,是只用unify就可以部署了吗 ?还是需要自己参考npu demo中的代码编写自己的部署代码 。
还有就是部署代码如何编译为可执行文件,难道要像dome中的例子一样,在sdk中make menuconfig 选中npu demo如何编译、打包烧录吗 ?有没有单独的编译方法!
模型应该可以直接push到板子上 但是可执行文件是怎么生成的 ,难道要在make menuconfig 中选中 重新编译、打包、最后烧录到板子上吗