你有没有发现你已经LV2了
当你知道这个论坛,随便点了个赞或者发了个帖子,就会升LV2
一般来说新号回复四个帖子就能升级lv2
为什么这样设置呢?
因为我们AWOL社区的伙伴主要是中小企业和个人开发者,由于其数量庞大,我们可能难以每一个人都手把手教学开发,所以希望大家都知道我们论坛,有什么问题可以在论坛提问,大家互助解决问题(当然也有工程师巡场
你有没有发现你已经LV2了
当你知道这个论坛,随便点了个赞或者发了个帖子,就会升LV2
一般来说新号回复四个帖子就能升级lv2
为什么这样设置呢?
因为我们AWOL社区的伙伴主要是中小企业和个人开发者,由于其数量庞大,我们可能难以每一个人都手把手教学开发,所以希望大家都知道我们论坛,有什么问题可以在论坛提问,大家互助解决问题(当然也有工程师巡场
全志V85X系列规格类似,都是针对AI视觉、高清编码推出的芯片。
主要应该在带camera的产品上,规格、性能略有差别,可以根据实际产品的应用形态选择
@chrisvista 在 全志在线开源芯片 新 SDK 平台下载方法汇总 中说:
大侠,有没有T113-i SDK?
找了很久,没有找到,自己正在V853 SDK基础上,修改
之前没注意,还以为你说T113-S3改T113-i,勉强还能实施。V853上成T113-i ,这跨度太大了,约等于重新适配芯片了,工作量太大,估计你改不动
编译lib完成后回到源码的根目录,完整编译
编译配置
hb set
这里可能要多敲一次回车才会出来这个选项框
选择wifi_skylake
编译
hb build -f
编译完成后生成的固件在路径xr806_openharmony2/device/xradio/xr806/xr_skylark/out 下:
将 xr_system.img 烧写到设备中即可
原来论坛的账号和官网的账号是独立的.
对,之前是共用一个库的,大概2023年6月份之后分成两个了:
(1)在论坛注册的账号属于个人账号,不用签NDA,可以直接下载不涉密的开源的资料;
(2)在全志客户服务平台注册的账号一般是企业账号,下载资料要先签署NDA并开通对应芯片产品包权限,当然这样获取到的资料会更多一些。
追觅扫地机器人拆机:MR813扫地机器人拆解内部.pdf
2021年8月10日,雷军进行继宣布造车之后的第二次演讲。
在这场以“我的梦想,我的选择”为主题的演讲上,雷军详细讲述了创业后的故事,发布了一系列全新产品。其中,给人最大惊喜同时也给人带来诸多疑问的就是我们这篇推文的主角——“CyberDog”,中文名 “铁蛋”。
在现场的展示中,这只 “人类高质量宠物” 可以行走、站立、小碎步跳舞等等。
CyberDog拜年
CyberDog行走
在官方给出的运动性能参数中,介绍到,除了这些,CyberDog还支持恢复站立、姿态展示、缓慢趴下、缓跑、小跑、奔跑、跳跑、跳跃、倒地恢复、打滚、握手、跳舞、转圈、作揖、坐下等一系列功能动作。
此物一出,各大论坛上也是众说纷纭,有人惊叹于他的外观,有人惊叹于他的智能,也有人惊叹于他在不同指令下不同行为的体现。 可是这只全新的物种,到底是如何做到这些复杂的动作的?它的出现,又能为人类做些什么呢? 相信绝大多数人看到这只机器狗的第一反应都如下面的表情包一样,“我不理解”。
这只看起来像小狗的机器人其实是当前业内备受关注的新产品形态—— 仿生四足机器人 。CyberDog全身拥有11组高精度传感器时刻待命,可主动探测外部细微变化,它搭载了AI超级计算机——NVIDIA JETSON XAVIER NX平台,可处理来自多个传感器的海量数据。于此同时,CyberDog使用了自研的高性能伺服电机,通过全志MR813芯片对全身的运动模块进行控制。
如果把传感器组比作CyberDog的“眼睛”,那NVIDIA JETSON XAVIER NX就是它的“大脑”,伺服电机就是它的“肌肉”,Allwinner MR813就是“小脑”。
下面就来了解一下铁蛋的各个 “器官” 是如何组成它的运动系统的。
#01
大脑-英伟达主控
CyberDog 的“大脑”是英伟达的 Jetson Xavier NX 平台,这是一台用于嵌入式和边缘系统的 AI 超级计算机。它集成了6个core NVIDIA Carmel ARM v8.2 64-bit CPU、搭载 384 NVIDIA CUDA cores 和 48 Tensor cores的GPU、2个 NVDLA 引擎深度学习加速器、7路VLIW视觉处理器。可以提供最高21T的算力。这保证了 CyberDog 可以毫无障碍地处理从传感器系统捕获的大量数据,准确领会主人的意图。同时支持2个 MIPI CSI-2 D-PHY lanes、以太网、WIFI/BT、HDMI、多路USB等。
有了这个大脑,这台机械狗甚至可以直接外接显示输入设备变身一台“电脑”,当然并不是我们传统意义上使用的那种个人用电脑,而是用于开发等用途。
Nvidia Jetson Xavier NX
#02
眼睛-11组高精度传感器
为了让铁蛋真的像一条狗,小米为其配备了超过11组高精密传感器,包括Intel Realsense D450深度摄像头、AI交互相机、双目超广角相机、TOF传感器、环境光传感器、超声波传感器、惯性测量单元、GPS模组、地磁传感器、光流计、6MIC环型阵列、触摸传感器等。有了这些丰富的传感器,CyberDog就像一个拥有白眼的“感知型忍者”,可以敏锐地感觉都周围流动的“查克拉”,并做出避障、预警等行为。
不仅仅是堆砌硬件,小米手机影像部门还亲自介入,将自己在手机方面深耕多年影像的技术运用至四足机器人领域,将硬件的性能发挥到极致。比如CyberDog的自主跟随能力就是源自人脸识别技术的衍生,以及SLAM建图和导航避障功能都来自影像技术的延伸的视觉探知技术,CyberDog通过影像技术感知环境后,通过算法创建出地图并导航,最终规划出最优路线。
#03
肌肉-自研伺服电机
CyberDog全身的自由度是12,单腿的自由度是3,即每只脚大腿关节处有两个电机,小腿关节处有一个电机,共12个电机。12个电机的组合让CyberDog可以自由地做出奔跑、跳跃、空翻等高难度动作。据悉,这12个伺服电机均由小米自研,单个最大扭矩达32N·m,最大转速为220rpm,可以让这只14KG重的CyberDog以11.5km/h的速度前进,这个速度大概和一个普通人晨跑的速度相当,让主人带着CyberDog跑步遛狗成为可能。
伺服电机性能参数
#04
小脑-全志MR813
CyberDog“小脑”使用的国内知名芯片设计厂商全志科技的
Allwinner MR813 。MR813将负责MPC算法的执行、运动控制、电源系统管理和OTA系统管理等工作。即CyberDog的四只脚以及上面的12个伺服电机,都将在MR813的控制下有序地行动,让CyberDog不会出现顺拐或者“扑街”。
MR813 是全志针对运动机器人市场推出的高性能SoC,4核A53架构,主频高达1.6GHz,拥有丰富的音视频接口和运动驱动接口。
据悉,MR系列芯片已经在在扫地机器人产品上被广泛应用,其中包括小米、石头、追觅等知名厂商。本次CyberDog使用MR813也是复用追觅已经成熟的运动驱动模块, 这样可以保证产品的性价比、稳定性和可量产性 。
也就是说,MR813在其它产品上都是作为“大脑”,而在CyberDog中只用作“小脑”,可见MR813性能的强大,也透露出小米对CyberDog用料选项的踏实和良心。
CyberDog的MPC算法使用的则是知名开源四足MPC算法 MIT Mini Cheetah。对于仿生四足机器人MPC算法的研究一直是近年的热点。MIT这套算法广受开发者欢迎,许多DIY开发者甚至专业厂商,都会基于这套算法进行开发。MR813则是为算法的运行提供了一个高效稳定的环境。
MR813系统框图
米家扫地机器人1T,使用MR813作为“大脑”
#05
神经系统-系统整合
在整体系统框架方面,CyberDog使用的是主流的机器人开源架构ROS 2,它提供一系列程序库和工具以帮助软件开发者创建机器人应用软件,同时提供了硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等诸多功能。
其中,Jetson Xavier NX 运行的是Ubuntu 18.04操作系统,11组高性能传感器获取到的环境信息传到Jetson Xavier NX后,由Jetson Xavier NX进行处理,并将运动信息通过千兆网口下发到MR813,由MR813进行运动总控制,分别控制一个MCU进行OTA和电池包的管理和另一个MCU进行电机的控制,与12个高性能伺服电机通过CAN 2.0进行通信。
小米CyberDog系统框图
#市场前瞻
目前仿生领域四足机器人的研究比较成熟,世界上最有名的四足仿生机器人研发团队当属波士顿动力,旗下研发的“大狗”系列仿生机器人已经有十几个产品型号分支, 但售价却达到了惊人的7.5万美元(约合人民币48万) ,这个价格让很多普通消费者都望而却步。
今年 6 月,国内的宇树科技发布了 Unitree GO1,共有三个版本: 售价 2700 美元的 G01 Air base 型号、售价 3500 美元的 G01 和售价 8500 美元的 G01 Edu ,这个价格可以说率先打开了四足机器人在普通消费人群中的市场,不过碍于功能的不足,依然难以进入大众眼界。
也就是说, Unitree GO1 起步价仅需 1.6 万元人民币 ,然而这个价格纪录目前已被小米 9999 的CyberDog打破了。
但是从目前供应链获取到的信息来看, Jetson Xavier NX核心模块的市场报为3000+元,Intel Realsense D450深度摄像头的市场报价约为1500元 ,这两个关键元器件的成本,就已经接近CyberDog硬件成本的一半。 全志的芯片虽然一直以高性价比著称,但是作为一个扫地机器人大脑级别的芯片,再加上12个伺服电机、电池、金属外壳等材料,CyberDog 卖9999元的价格,真的是“交个朋友”了。 截止2021年8月底,CyberDog 产品虽然未交货,但是已经有人以数倍的价格收购名额了。
小米副总裁常程在微博对于 “为什么要做这样一个机器人” 的问题是这样回应的:
“这还是一项投资未来的决策。
一方面仿生机器人未来在服务、工程、安防、医疗等诸多领域蕴含着巨大的市场潜力。另一方面小米作为全球化的科技公司,有必要尽早在前沿领域进行几乎布局,夯实专利储备。探索仿生机器人的过程也是在做技术预研,其中机器视觉、导航避障、人机交互、AI语音算法等技术可以反哺手机、智能家居等产品。”
与此同时,我们在这个产品中看到了小米强大的模块整合能力,在项目中,分别调动了核心的手机影像部门、小爱同学AI部门、语音算法部门、生态链公司追觅、芯片原厂全志科技等众多部门、合作伙伴,从概念设计到机械结构设计、BSP、算法移植、系统联调到最终产品交付,只用了10个月的时间。
上一次我们看到这样集全集团之力去做一个玩具的场景,是《四驱兄弟》里的三国藤吉集合三国重工最高科技而打造他的疾速眼镜蛇。而这些模块其实也是自动驾驶会用到的技术热点,结合之前宣布造车的消息,外界猜测,CyberDog其实是在为小米汽车的团队搭建和技术预研做准备。
-End-
原 贴 转 跳:【深度剖析】小米CyberDog四足机器人的AI运动系统的实现
公众号推文跳转:【深度剖析】小米CyberDog四足机器人的AI运动系统的实现
@gonboy 在 【D1s & WIFI】简单测试下哪吒MQ的WiFi(后边补上移植记录) 中说:
@xiaowenge XR829模块,是否可以自己做个小板,不用标定?
- 不标定,是否影响使用?
可以自己做个小板子
标定是指天线匹配?
mkdir -p /mnt/boot
mount /dev/block/by-name/bootloader /mnt/boot (要先把存放启动logo的路径挂载上去)
替换/mnt/boot/boologo.bmp或者/mnt/boot/boologo.jpg
@vermounth 在 T113 u-boot编译失败,没有brandy-2.0/spl目录 中说:
有哪位大佬知道,求原因
一般不开放,你从哪里拿到的SDK?可以找代理商申请一下SPL的源码,但是要说明原因,不然不一定给
@iincity 在 f133采用melis sdk 1.4,打包后无法通过phoenixsuit下载到norflash 中说:
@xiaowenge 芯片是f133A,选的里面的f133-b工程
那肯定不行的,chipID都不一样,烧不进去的
@lgkgkfg 在 D1H还在正常量产吗? 中说:
@xiaowenge 就这还是采购说联系全志原厂的代理反馈的结果,他应该是找了个假的代理吧
正常的,有的代理商可能不代理这颗芯片,希望引导你使用他们代理的芯片