使用tinyvision制作简单的网络摄像机IPC

逸俊晨晖 LV 5

前言
静谧里它静静地守候如同时间的拾荒者捕捉着光影交织的故事
——致摄像机

演示效果

1080P20

基本思路
用v4l2读取摄像头图像然后用硬件编码器把图像编码最后把编码数据传给rtsp服务器这样外部就可以直接拉流播放了

提供的系统里有个摄像头测试程序camerademo 能用v4l2读取摄像头图像 sdk里有源码把源码简单修改一下接口对接

提供的系统里有个硬件编码器测试程序encodertest 能把图像编码成h264数据直接运行是不能使用的它的参数解析有问题需要修改源码的长宽和文件输入输出路径重新编译才能使用
注意 sdk里面有多个编码器操作例子只看到一个是接口符合sdk里面的编码器操作接口其他都是不能用的老接口
能用的encodertest源码路径openwrt/package/allwinner/multimedia/tina_multimedia_demo/encodertest/mpp_src

rtsp部分是网上找的一个编程实现的简单的rtsp服务器相当于推流加服务器外部直接拉流就行

硬件软件版本
主板 TinyVision
主控 V851SE
系统sdk Tina 5.0

系统镜像
https://tinyvision.yuzukihd.top/#/?id=tinasdk-50
v851se_linux_tinyvision_uart0.zip

外设
摄像头 GC2053
网络百兆RJ45头

附件
使用tinyvision制作简单的网络摄像机IPC附件.zip

应用程序使用方法

先用adb把程序传进板子

adb push D:\Ubuntu18_tinyvision\share\app\tinyvisionIpcV1\tinyvisionIpcV1 /root

使用命令添加执行权限

chmod +x tinyvisionIpcV1

使用ifconfig配网

ifconfig eth0 192.168.2.17 broadcast 192.168.2.255 netmask 255.255.255.0 up
ifconfig lo 127.0.0.1 up
route add default gw 192.168.2.1

仅支持一种参数格式参数为长宽帧率
执行例子

./tinyvisionIpcV1 640 480 30

执行时不加参数时默认参数为 640 480 30
当参数不支持时v4l2会打印出不同的参数不会自动调整为相近的适合参数
v4l2打印的帧率有时候不对以程序每秒打印的摄像头帧率为准
验证过的参数
1920 1080 20
1280 720 30
640 480 30

摄像头读图像帧使用v4l2框架输出格式是NV21 参数不支持基本上是摄像头不支持导致的
默认操作设备/dev/video0 使用前检查有没这个设备接了摄像头摄像头驱动加载成功基本都会有这个设备
可以使用系统自带的camerademo排查操作摄像头有没问题

编码器是用的sdk提供的硬编码输入NV21输出H264
程序运行时会每秒打印编码帧率这个帧率不是编码器最大帧率是工作时的帧率摄像头帧率低会导致编码器帧率低
可以使用系统自带的encodertest排查编码器有没问题

rtsp是网上找的一个编程实现的简单的rtsp服务器相当于推流加服务器外部直接拉流就行
rtsp端口为554 路径为/live
拉流流例子 ip要换成板子的ip
rtsp://192.168.2.17/live

ffmpeg拉流使用方法

在pc上解压ffmpeg压缩包用cmd进入ffmpeg bin目录执行命令记得换ip

ffplay.exe -rtsp_transport tcp  rtsp://192.168.2.17/live

参数-rtsp_transport tcp的意思是以tcp的方式建立rtsp链接不写默认是udp 用tcp可以减少丢包花屏情况

cmake工程编译使用方法

工程使用cmake构建
需要安装cmake

apt-get install cmake

需要修改CMakeLists.txt里指定的编译器路径和头文件库文件路径
然后在CMakeLists.txt所在路径执行一次命令

cmake .

产生makefile 然后执行

make

就可以产生应用程序

注意 sdk的gcc使用时要求导出变量STAGING_DIR

export STAGING_DIR="/root/tina-v853-open/out/v851se/tinyvision/openwrt/staging_dir/"

用编译sdk时的source build/envsetup.sh也行

预告
读图像编码 rtsp流服务只是开始
因为编解码器接口变更 4.0mpp没有移植到5.0的原因我看很多人眼馋5.0的rtsp流所以先把这个功能简单的工程分享出来
在以后的版本中还要做rtsp/rtmp推流外部服务器 rtmp流服务 mp4录制等等等
因为rtmp流服务用nginx服务器 nginx本身还是个http服务器所以还会顺带上web搭建在web上播放视频在web上展示配置板子状态用C艹写web后端
这所有的一切将在这个64M内存的芯片上实现
我们的征途是星辰大海

羁绊
起初我是在一些技术群看到tinyvision的宣传资料想看看生态如何但又没有看到相关的交流群
然后到百问网的群里碰运气问问情况没想到百问网的世玉轩找到了我解答了我的问题还送了我一套板子你这是干什么真是太客气了

最后感谢前人的努力
感谢百问网和yuzuki大佬联合出品的TinyVision
感谢百问网赠送的TinyVision及官方配件
感谢全志在线和yuzuki大佬提供整理的sdk资料

newcastle LV 6

@lajuchenghui 大佬牛逼，有源码吗

逸俊晨晖 LV 5

此回复已被删除！

逸俊晨晖 LV 5

@newcastle 附件里有
编译出来的程序
程序源码
拉流测试用的ffmpeg

soso90 LV 7

不错，难得看到如此精彩帖子。后续可以调时延，时延上去了。就是产品级~ 据说能做到200ms？

逸俊晨晖 LV 5

预期功能已经实现详细内容在下一篇
https://bbs.aw-ol.com/topic/5596

dream LV 6

大佬，rtsp_lib 是你写的吗？有些眼熟哇。

weifeng88 LV 3

@lajuchenghui 您好，非常感谢提供了这个IPC代码，请问TinyVisionIpcV1的版权是什么？我基于这个代码写了个录制H.264视频的代码，想用 MIT license 放到 github 上去，不知是否可以？

逸俊晨晖 LV 5

@dream 那可不是网上随便找的

逸俊晨晖 LV 5

@weifeng88 无限制随意使用

jaying LV 2

大佬请问这个不安SDK的话可以实现复刻吗？新手很多不太懂...
我现在直接执行测试，会报错Error loading shared library libvencoder.so: No such file or directory (needed by ./tinyvisionIpcV1)等等.so库异常，这个库也需要自己编译么？