全志在线开发者论坛

huioma

本文转自OpenPPL公众号
原文链接：https://mp.weixin.qq.com/s/6h-r-xWzcHf2SksmQyJf_Q

RISC-V 最近风头正劲，各家都在紧锣密鼓打造基于 RISC-V 指令集的各种处理器。在 AI 热潮的推动下，RISC-V 上面部署 AI 的需求也越发凸显。

同时市场上终于出了带 V 指令的 RVBoards，基于玄铁 C906 架构，我们就决定开启 RISC-V 后端。初版支持 128 位向量，fp32 和 fp16 两种数据格式，性能较现有开源框架更优，欢迎体验！

RISC-V 支持情况概述

OpenPPL 针对 RISC-V 指令集进行了深度优化，支持部分分类网络（比如 alexnet, resnet, resnext, shufflenet, squeezenet, mobilenet, mnasnet 等）在 fp32 和 fp16 精度下的推理。

同时，与 OpenPPL 其他架构类似，RISC-V 架构支持算子融合等图优化策略进行网络性能优化，从而达到理想的性能效果。

目前市面上支持 RISC-V 向量指令集 (RVV) 的开发板较少，OpenPPL RISC-V 暂时仅支持全志D1（rvv-0.71，128bit 向量长度），后续会逐步添加对 rvv-1.0 和动态向量长度的支持。

RISC-V 算子支持

在 RISC-V 向量指令集 (RVV) 的使用上，我们主要采用了 intrinsic 和内联汇编的方式。

由于编译器的限制，intrinsic 并不能达到非常优秀的性能，因此我们选择在卷积的计算代码中使用内联汇编，一方面，这能使性能优化更加准确；另一方面，内联汇编可以借助 C++ 的模板和宏等功能生成不同规模的计算代码。

intrinsic 的可读性更高，用起来也更加方便，在其他执行时间占比较低的算子中，我们选择用 intrinsic 进行开发。

OpenPPL RISC-V 实现了一些常用的卷积优化算法，包括 img2col+gemm，winograd 等。同时，OpenPPL RISC-V 针对 rvv 做了一系列的调优工作，使得卷积算子在全志 D1 上能够拥有不错的性能，但由于某些限制，OpenPPL RISC-V 仍没有发挥出 rvv 的全部能力：

rvv 提供了功能非常丰富的指令，这提高了 rvv 的可玩性，但也对向量单元的硬件设计提出了挑战。c906 支持了 rvv-0.71 的大部分功能，但仍放弃了一些有用的功能，比如 Vector Register Grouping，OpenPPL RISC-V 也并未支持这些功能。
RISC-V 的向量寄存器堆独立于浮点寄存器堆，在计算中合理地使用两个寄存器堆往往可以提高计算效率。但需要注意的是，rvv 支持半精度浮点的向量操作，但 RISC-V 并没有和 FD 扩展一样稳定的半精度浮点标量指令规范。如果需要手动操作浮点寄存器，就要用到 c906 自定义的半精度浮点扩展或是一些有损性能的特殊方式。出于芯片兼容性的考虑，OpenPPL RISC-V 在 fp16 精度的推理中并没有使用该自定义的半精度浮点扩展（也没有显式地使用浮点寄存器），而是用 rvv 中的指令进行代替。

在全志 D1 上运行 OpenPPL

首先需要在 occ.t-head.cn 中下载所需的编译工具链并解压，可以选择 riscv64-linux-x86_64-20210512.tar.gz。
微信图片_20220125133628.jpg
https://occ.t-head.cn/community/download?id=3913221581316624384

tar -xf riscv64-linux-x86_64-20210512.tar.gz

下载 ppl.nn

git clone https://github.com/openppl-public/ppl.nn.git
cd ppl.nn

指定编译工具链的路径，进行交叉编译

./build.sh -DHPCC_TOOLCHAIN_DIR=/path/to/riscv64-linux-x86_64-20210512 -DCMAKE_TOOLCHAIN_FILE=cmake/toolchains/riscv64-linux-gnu.cmake -DHPCC_USE_RISCV=ON -DPPLNN_ENABLE_KERNEL_PROFILING=ON -DPPLNN_ENABLE_PYTHON_API=OFF -DPPLNN_ENABLE_LUA_API=OFF

编译完成后将文件 pplnn-build/tools/pplnn 传至全志 D1 即可运行

# fp32
./pplnn --use-riscv --onnx-model model.onnx --inputs input.bin --in-shapes n_c_h_w [--warmup-iterations m] --enable-profiling

# fp16
./pplnn --use-riscv --use-fp16 --onnx-model model.onnx --inputs input.bin --in-shapes n_c_h_w [--warmup-iterations m] --enable-profiling

可以通过添加 --tuning-level=1 开启动态算法选择以达到更高的性能。

性能展示

OpenPPL RISC-V 在全志 D1 上的性能数据统计
微信图片_20220125133634.jpg

欢迎Star

https://github.com/openppl-public
扫码添加小助手，加入 OpenPPL 大家庭！

huioma

转自嵌入式IoT公众号
https://mp.weixin.qq.com/s/N3bkMyJwc4HWI_M1Docghg

D1 riscv芯片上运行rt-thread进行RVV性能评估

概述
rt-thread在D1芯片上的移植
如何开启D1&&D1s的rvv扩展
RVV性能对比评估
RVV在RTOS如何使用的更好

概述

D1 && D1s(f133)采用的是平头哥C906的core，上面已经支持了RVV 0.7.1版本，虽然目前RVV1.0已经frozen,这就意味着上游编译器或者一些相关的生态软件将支持RVV1.0，但是作为性能评估RVV0.7.1与RVV1.0影响并不大。下面的文章主要描述如何在D1 && D1s芯片上运行rt-thread，并且描述如何开启RVV，同时对RVV性能进行一个简单的评估，最后讨论RVV如何与RTOS使用的问题。

rt-thread在D1芯片上的移植

目前D1s有64MB的内置DDR2，这非常适合运行RTOS，所以将rtos移植到D1s上是非常不错的选择。

其移植的细节不详细介绍，可以查看源代码

https://github.com/bigmagic123/d1-nezha-rtthread

移植的难点在于：

1.启动，从芯片上电启动入口处跳转到rt-thread入口处的汇编代码
2.硬件串口的初始化，这里会涉及到时钟配置
3.tick时钟中断，目前采用的是riscv的通用timer,需要配置clic
4.任务切换和上下文的保存与恢复，这部分需要对入栈出栈的顺序十分的清晰
5.串口中断，这里需要弄清楚plic中断处理机制

解决上述问题，移植rt-thread将非常的简单，当前的rt-thread运行在M-mode，具有比较高的权限，可以随意操作寄存器进行配置。

编译与运行在windows和Linux上均可操作，主要参考如下的文档：

https://github.com/bigmagic123/d1-nezha-rtthread/blob/main/README.md

目前已经实现的功能有：

1.timer
2.uart
3.gpio
4.vector
5.FPU

如何开启D1&&D1s的rvv扩展

想要使用RVV功能，需要开启VS标志位，该位位于

微信图片_20220114161643.jpg

VS位于MSTATUS寄存器的23到24位。但是需要注意的是，当使用RVV时，需要开启浮点寄存器（FS），不然会报错。

这部分在rt-thread的体现是在上下文切换的时候，需要将使用RVV的线程的MSTATUS设置成开启VS的模式。

微信图片_20220114161711.jpg

可以VS设置b01。

只有当使能该位，才能正常使用RVV指令，不然运行会直接报错。

接着，编译选项中还需要添加成如下选项

-march=rv64gcvxtheadc -mabi=lp64d -mtune=c906

这样才能告诉编译器支持RVV指令。

RVV性能对比评估

riscv 的RVV其编程模型主要有两种方式，第一种采用rvv-intrinsic。这就是在编译器中进行intrinsic函数的构建，可以将相关的rvv操作变成编辑器的内置函数。采用类似下面的函数方式进行编程。

vint8mf8_t vcopy_v_i8mf8 (vint8mf8_t src);
vint8mf4_t vcopy_v_i8mf4 (vint8mf4_t src);
...

其操作详情可以参考：

https://github.com/riscv-non-isa/rvv-intrinsic-doc/

本质上就是将复杂的汇编代码操作换成C语言函数的形式，这种方式可读性更强。rvv1.0后面也会提供这一种方式进行。

第二种就是采用汇编进行操作，裸写汇编代码的难度很大，但是可以实现比较好的优化，这特别是在关键耗时的操作上进行汇编级别的优化，可以很大程度上提升程序运行的性能。

在平头哥开源出来的GCC工具链中，并没有rvv-intrinsic功能，所以只能通过汇编函数的方式进行操作。

平头哥开源出来了一个神经网络的库，里面有C906的RVV底层操作。

https://github.com/T-head-Semi/csi-nn2

实现了一些基本的操作，抽象了各种常用的网络层的接口，并且提供一系列已优化的二进制库。

其主要的使用类似于CMSIS，Tensorflow等等。有了这些抽象接口，在使用RVV进行特定优化的时候，难度也会有所降低。

下面主要从csi-nn2抽取出vertor add， vertor mul，memcpy，也就是加法计算，乘法计算和内存拷贝，三个方面，对其性能进行评估。

https://github.com/bigmagic123/d1-nezha-rtthread/blob/main/bsp/d1-nezha/applications/vector.c

浮点数加法

采用向量操作

float a[10] = {1.2,1.3,1.4,1.5,1.6,1.7,1.8,2.0,2.1,2.2};
float b[10] = {1.2,1.3,1.4,1.5,1.6,1.7,1.8,2.0,2.1,2.2};
float c[10];
element_mul_f32(a, b, c, 10);

一次性处理10个元素，采用RVV向量的操作。

普通的加法

for(ii = 0; ii < 10; ii++)
{
 d[ii] = a[ii] + b[ii];
}

单个元素相加。

分别计算30000次。

最后的结果如下：

微信图片_20220114161719.png

采用向量加法只需要7ms，而直接相加，则消耗了36ms,性能相差5倍左右。

浮点数相乘

与加法操作类似，也是一次性处理10个元素

float a[10] = {1.2,1.3,1.4,1.5,1.6,1.7,1.8,2.0,2.1,2.2};
float b[10] = {1.2,1.3,1.4,1.5,1.6,1.7,1.8,2.0,2.1,2.2};
float c[10];
element_mul_f32(a, b, c, 10);

普通的乘法

for(ii = 0; ii < 10; ii++)
{
 d[ii] = a[ii] * b[ii];
}

两者性能对比
微信图片_20220114161725.jpg
向量乘法也比普通的乘法性能强大一些，接近5倍的差别。

内存拷贝

内存拷贝的测试方法是测试rt_memcpy,memcpy,csi_c906_memcpy。分别代表rt-thread内置的内存拷贝函数，采用C语言进行实现，memcpy是newlib库函数的实现，里面会对riscv架构进行优化处理，csi_c906_memcpy则是采用向量操作，进行内存拷贝。

测试是先申请1MB的目标内存，1MB的源内存，往源内存中写随机数。

拷贝源内存中的数据到目标内存，拷贝100次，也就是100M的内存拷贝数据量。

结果如下：

微信图片_20220114161736.jpg

显然，内存拷贝操作newlib中的memcpy性能是最佳的，而向量操作的memcpy反而其次，最差的是rt-thread的rt_memcpy。这里的原因是newlib的memcpy的是经过优化后的，而vector memcpy也可能是优化的不好导致性能与newlib的memcpy相当。rt-thread采用纯C语言实现，其通用性比较好，但是性能不佳。

RVV在RTOS如何使用的更好

这是一个关于更好的在RTOS上使用RVV的问题，由于RTOS是为了追求实时性，一般来说，开启了FPU和RVV后，其寄存器的数量会非常的多，每次入栈和出栈的操作，如果每次都将全部的寄存器压入和弹出，将会让切换任务的时间变长，影响了系统的实时性。对于这种情况，其实可以利用mstatus中的VS和FS的标志位进行判断。

微信图片_20220114161747.jpg
微信图片_20220114161741.png