Navigation

    全志在线开发者论坛

    • Register
    • Login
    • Search
    • Categories
    • Tags
    • 在线文档
    • 社区主页

    NPU 量化模型速度问题

    V Series
    2
    9
    2778
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • tianjiangfuzi
      tianjiangfuzi LV 3 last edited by

      大佬们,pegasus上测试picodet模型算力MACC为860M,yolov3为33G,
      但部署在V853上测试yolov3 200多ms,picodet却为400多ms,这是为什么呀。

      YuzukiTsuru 1 Reply Last reply Reply Quote Share 0
      • YuzukiTsuru
        柚木 鉉 LV 9 @tianjiangfuzi last edited by

        @tianjiangfuzi 看一下picodet的模型转换使用的是不是nn模块还是pp模块

        tianjiangfuzi 1 Reply Last reply Reply Quote Share 0
        • tianjiangfuzi
          tianjiangfuzi LV 3 @YuzukiTsuru last edited by

          @yuzukitsuru 额 大佬 请问啥事nn模块和pp模块 nn模块是指torch.nn 吗 还是什么呀 网上没查到什么信息
          picodet是用paddlepaddle训练的,模型转换用的是paddle2onnx,然后用onnxsim简化

          YuzukiTsuru 1 Reply Last reply Reply Quote Share 0
          • YuzukiTsuru
            柚木 鉉 LV 9 @tianjiangfuzi last edited by

            @tianjiangfuzi
            就是检查一下模型是在可编程引擎(pp)计算的还是在神经网络引擎(nn)计算的。

            0b86db64-8c53-4e3a-bcbf-a2f1969eba59-image.png

            可以用nb_info来查看模型数据

            1 Reply Last reply Reply Quote Share 0
            • tianjiangfuzi
              tianjiangfuzi LV 3 last edited by

              @yuzukitsuru 请问这个nb_info 具体怎么用呀 我查看文档资料没看到呀 demo中好像也没有例子

              YuzukiTsuru 1 Reply Last reply Reply Quote Share 0
              • YuzukiTsuru
                柚木 鉉 LV 9 @tianjiangfuzi last edited by

                @tianjiangfuzi 我晚上有空写一个

                tianjiangfuzi 1 Reply Last reply Reply Quote Share 0
                • tianjiangfuzi
                  tianjiangfuzi LV 3 @YuzukiTsuru last edited by

                  @yuzukitsuru 好的 感谢

                  1 Reply Last reply Reply Quote Share 0
                  • tianjiangfuzi
                    tianjiangfuzi LV 3 last edited by

                    大佬 我看到一些lenet demo中有提到nne 和ppu计算单元,我用的模型中有sigmoid层,输出的tensor有一半是float类型,是不是表示这个模型在pp模块运行呀,这个模块是不是相较于nn模块速度会慢? 是不是只有改模型结构才能提速?还有就是nbinfo是一个解析nb文件的一个可执行文件吗 ?

                          上边是速度问题!同时我也遇到了精度问题,按照demo量化。无论是int8还是uint8都得到错误的结果,即便精度下降也不应该下降这么离谱,不知道各位有没有遇到过这种情况
                    
                    YuzukiTsuru 1 Reply Last reply Reply Quote Share 0
                    • YuzukiTsuru
                      柚木 鉉 LV 9 @tianjiangfuzi last edited by YuzukiTsuru

                      @tianjiangfuzi 是的,nn只支持uint8, int8,float会被转换到pp计算。nbinfo是一个软件读取解析nb文件的,可以看到他在哪一个核心上运行

                      1 Reply Last reply Reply Quote Share 0
                      • 1 / 1
                      • First post
                        Last post

                      Copyright © 2024 深圳全志在线有限公司 粤ICP备2021084185号 粤公网安备44030502007680号

                      行为准则 | 用户协议 | 隐私权政策