Navigation

    全志在线开发者论坛

    • Register
    • Login
    • Search
    • Categories
    • Tags
    • 在线文档
    • 社区主页

    腾讯优图ncnn新版本适配国产CPU,全志D1加持最高速度提升70倍!

    MR Series
    d1 ncnn
    6
    15
    5032
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Hazelijy
      Hazelijy LV 4 last edited by whycan

      腾讯优图ncnn新版本适配国产CPU,全志D1加持最高速度提升70倍!

      随着自主信息技术创新应用的持续推进与发展,国产PC、国产OS和软硬件设备日趋成熟。为了更好的助力国产CPU在AI软件生态从“可用”到“好用”, ncnn作为腾讯优图实验室推出的首个高性能神经网络前向计算开源框架,近期在国产芯片之光D1和CPU龙芯上进行了较为全面的适配和性能优化,ncnn携手全志科技与龙芯共同打通了AI应用和国产CPU硬件间的壁垒!

      • ncnn
        是腾讯社交网络事业群公布的首个AI开源项目,也是腾讯优图实验室第一次对外公开深度学习的研究成果。ncnn于2017年7月正式开源,作为一个为手机端极致优化的高性能神经网络前向计算框架,在设计之初便将手机端的特殊场景融入核心理念,是业界首个为移动端优化的开源神经网络推断库。

      • D1
        是全志科技首款基于RISC-V指令集的芯片,集成了阿里平头哥64位C906核心,支持RVV,1GHz主频,可支持Linux、RTOS等系统。同时支持最高4K的H.265/H.264解码,内置一颗HiFi4 DSP,最高可外接2GB DDR3,可以应用于智慧城市、智能汽车、智能商显、智能家电、智能办公和科研教育等多个领域。

      • 龙芯
        是中国科学院计算所自主研发的通用CPU,采用自主LoongISA指令系统,兼容MIPS指令。
         

      本次ncnn更新的20210720版本,完成了risc-v与mips架构cpu的适配,并利用risc-v vector与mips msa矢量加速扩展指令集,优化了绝大多数常用算子的性能。在ncnn附带的benchmark测试中,在D1上速度可提升最高70倍!在龙芯CPU上速度提升最高18.64倍,满足了AI端侧推理部署的基本需求。

      8fc91725-1b0b-455f-bd84-a814cc2b3d41-image.png

      ncnn在全志D1上测试数据,速度最高提升70倍
       

      7860d3d5-0f01-422d-9dab-43ca17a0eab7-image.png

      ncnn在龙芯CPU上测试数据,速度最高提升18.64倍

       

       
      eac4d6d7-7efa-4680-8ff7-130f2920ceee-image.png

      D1开发板上使用ncnn部署nanodet检测算法效果
       
       
      28c09e90-8fd8-445f-98e8-33be3d7d3cf6-image.png

      龙芯2k派开发板上使用ncnn部署yolov5检测算法效果

       

      ncnn 20210720版本的其他更新

      - 支持 x86 avx-only cpu 优化加速

      - 数学函数 log/exp/tanh arm 优化

      - 提升 ncnn 量化工具的多线程效率

      - 修复某些手机gpu推理的内存泄漏和其他bugfix等等

      - 支持龙芯自主指令集架构loongarch

       

      测试平台-1

      D1,1线程,risc-v架构,开启v扩展

      5f75b3b5-f582-401f-af68-5208be6d6e7e-image.png

       
      ncnn在全志D1适配测试数据

      c179d129-fe48-466b-bd86-d3368a5620b5-image.png

       
       

      测试平台-2

      龙芯2K1000,2线程,mips架构,开启msa

      4801e68c-ca13-4b58-946e-20e7b40cfcaf-image.png

      ncnn在龙芯CPU上适配测试数据

      dce3d547-5ebb-4232-8b1a-f7f74aa29184-image.png

       

      最后,也欢迎大家访问ncnn项目主页,阅读Readme加入ncnn技术交流QQ群,与一线工程师和众多技术大佬沟通交流。

       

      详情见下:

      ncnn 20210720版本下载地址或点击阅读原文
      (linux/windows/macos/android/ios/webassembly,cpu+gpu)
      https://github.com/Tencent/ncnn/releases/tag/20210720

      ncnn开源项目访问地址
      https://github.com/Tencent/ncnn

      原贴转跳:腾讯优图ncnn新版本适配国产CPU,最高速度提升70倍

      1 Reply Last reply Reply Quote Share 0
      • L
        lijyhh LV 3 last edited by

        D1上面使用得Debian系统叭,应该不是tina

        BedRock 1 Reply Last reply Reply Quote Share 0
        • BedRock
          BedRock LV 6 @lijyhh last edited by

          @lijyhh 我自己使用Tina 是可以用哒 nihui 当初用1.0 版本不可以,最新的1.01 版本目前是可以呢 上一张正在跑的图片😁 a9e615ac-e031-40c9-acf4-b37ed96fe272-image.png

          L 1 Reply Last reply Reply Quote Share 0
          • L
            lijyhh LV 3 @BedRock last edited by

            @bedrock 原来如此,感谢大佬~!

            1 Reply Last reply Reply Quote Share 0
            • L
              lijyhh LV 3 last edited by

              那请问tina上实现的步骤和Debian一样嘛,一样的话,我研究一下ncnn

              BedRock 1 Reply Last reply Reply Quote Share 0
              • BedRock
                BedRock LV 6 @lijyhh last edited by

                @lijyhh 基本上是一样的 哈哈哈 你又问题也可以帖出来哈

                L 1 Reply Last reply Reply Quote Share 0
                • L
                  lijyhh LV 3 @BedRock last edited by

                  @bedrock 好嘞,多谢!

                  1 Reply Last reply Reply Quote Share 0
                  • L
                    lijyhh LV 3 last edited by

                    f332bf72-236f-4753-a465-c170199a9a5e-image.png
                    b2e2956b-dc38-4074-9e7e-402f8e83715a-image.png
                    大佬你好,我在d1上面实现ncnn时(根据nihui大佬的这篇教程:在全志d1开发板上玩ncnn),遇到了很多上图所示的问题,非常非常多,几百个可能。这是哪一步出错了呢,百度无解,非常感谢!编译器版本是一样的

                    BedRock 1 Reply Last reply Reply Quote Share 0
                    • BedRock
                      BedRock LV 6 @lijyhh last edited by

                      @lijyhh 看看你下载的ncnn的版本

                      H 1 Reply Last reply Reply Quote Share 0
                      • H
                        hu487364 LV 5 @BedRock last edited by

                        @bedrock
                        请问d1跑ncnn,riscv工具链是用最新的版本还是d1 sdk里面的默认版本。因为我担心,如果在linux上不是用d1 sdk自带的riscv工具链版本,我怕在板子上会运行不起来。毕竟rscv 工具链版本不同

                        BedRock 1 Reply Last reply Reply Quote Share 0
                        • BedRock
                          BedRock LV 6 @hu487364 last edited by

                          @hu487364 ncnn编译只能使用最新的工具链,但是放再Tina中是可以跑的

                          H 1 Reply Last reply Reply Quote Share 0
                          • H
                            hu487364 LV 5 @BedRock last edited by

                            @bedrock 嗯,知道了谢谢

                            1 Reply Last reply Reply Quote Share 0
                            • BedRock
                              BedRock LV 6 last edited by

                              放上来我编译的可以在Tina运行的😀 😀 有兴趣的朋友可以自己下载测试
                              benchncnn

                              C 1 Reply Last reply Reply Quote Share 0
                              • C
                                chen_bopk LV 3 @BedRock last edited by

                                @bedrock 我编译时为什么一直没有成功 ,这个文件怎么配置呢
                                3db4cb57-4608-49ed-89f5-dc9cb72f68d0-图片.png

                                Randolph 1 Reply Last reply Reply Quote Share 0
                                • Randolph
                                  Randolph LV 6 @chen_bopk last edited by

                                  @chen_bopk 你的工具链是哪个版本的?

                                  1 Reply Last reply Reply Quote Share 0
                                  • 1 / 1
                                  • First post
                                    Last post

                                  Copyright © 2024 深圳全志在线有限公司 粤ICP备2021084185号 粤公网安备44030502007680号

                                  行为准则 | 用户协议 | 隐私权政策