导航

    全志在线开发者论坛

    • 注册
    • 登录
    • 搜索
    • 版块
    • 话题
    • 在线文档
    • 社区主页

    我用V851s做了一个魔法棒,成本80元,可以通过手势识别控制一切电子设备

    V Series
    2
    2
    1456
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • q1215200171
      budbool LV 9 最后由 编辑

      本项目作者: realTiX
      项目名称: 赛博魔杖
      芯片平台: 全志V851s, BMI088,HLK-B40

      F1636EF9-933A-488e-B41D-7FD1254FBE32.png

      这是一个可以直接启动原神的魔法棒~

      原神,启动!

      640 (6).gif

      这是一个万全的解决方案!只需要花80元再动动手,就可以将哈利波特的魔杖与人工智能结合到一起!它就是用全志V851s做的赛博魔杖!

      LEVCx35psWejdBBFMo8IyOREKoq44L2Pgvj8vZlB.jpeg

      这个魔法手杖有啥亮点

      手势识别“控万物”

      它可以通过手势识别,控制一切你想控制的电子设备(灯、空调),也可开原神。

      主要是通过识别手势画出来的字符控制,当前识别字符为字母 A~Z,也有数字 0~9等更多的模型。

      640 (7).gif

      控制的过程中,你也可以高喊一句阿瓦达!

      关于手势控制精度,您可以参照开源代码仓库训练精度更高(当前准确率为 92%),可识别字符(当前为字母 A~Z,数字 0~9)更多的模型。

      成本低,易复刻,有技术含量

      总成本包含外壳只需要80元,如果你想要一个更好看的外壳,也可以自己替。

      蓝牙通信

      本魔杖使用蓝牙串口透传模块通信,可以用这个功能开启原神。

      你可以参照代码仓库中的通信协议自行扩充本魔杖功能以及依此协议开发其他蓝牙终端,以达到遥控更多带有蓝牙的终端设备的目的。

      硬件部分

      这是魔杖本身的电路设计部分,其实并不复杂:

      其基础硬件主要包含:全志 V851s,BMI088,HLK-B40。

      640 (11).png

      640 (12).png

      魔杖如何轻松开关灯?多亏了这个开灯器打配合!看看它的电路吧:

      640 (13).png

      640 (14).png

      整体配合效果就是这样的:

      640 (8).gif

      硬件设计参考:Yuzukilizard 柚木PI 迷你 AIoT 开发板

      软件部分

      通过本章节,你会了解到——AI手势识别功能是如何做到的。

      1、软件构成

      使用Keras训练手势识别模型,转为 TFlite 模型。

      再通过谷歌提供的 TFlite C API 运行模型。

      2、代码仓库

      代码仓库顺序如下:

      • bmi088 获取挥棒手势数据
      • Keras 挥棒手势识别模型训练
      • V851s 赛博魔杖
      • 蓝牙控制的简易舵机开关灯装置_HLK-B40
      • 原神 蓝牙安卓启动器

      1、在工程附件中可下载固件文件(文末有入口)。
      640 (15).png
      2、将 TF 卡 通过读卡器连接电脑。
      3、使用 全志提供的 PhoenixCard 软件。
      4、按下图步骤下载固件到 TF 卡中。
      640.jpe
      5、固件下载完成后,插入 TF 卡槽中。
      6、魔杖初次开机需要半分钟(正常开机会闪三下灯)。非初次则需要 8 秒时间开机,如果开机很久都没闪灯,请重启或检查硬件(可插入数据线连接电脑,重启魔杖并使用 MobaXterm 查看串口打印信息以确定原因)。
      7、开机后进入陀螺仪初始化,期间会亮灯。也就是说,加上开机亮灯,会亮 4 次。
      8、注意,本魔杖 Type-C 口正反插分别为 USB-OTG 和 串口,请插上去后查看电脑驱动,以确定哪一方向为串口。
      9、开灯器固件在代码仓库下载源码,可自行编译或直接下载固件,参考 STC 51单片机程序下载方法。

      搞定了这一步,就要开始组装魔杖了!

      组装

      ①组装魔杖:在工程附件中可下载 3D 外壳文件,制作出来后按下图方式嵌入电路板及电池。

      640 (1).jpe

      ②组装开灯器:同上,有设计文件,制作出来后,按下图组装开灯器,注意红外头需引出。

      640 (2).jpe

      不觉得很酷吗,科技并带着乐趣

      蓝牙连接

      以上操作完成并正常开机后,就可以尝试连接蓝牙了。

      使用海凌科官网提供的 HLK-B40 软件 连接到蓝牙模块,

      按照下图内容修改参数设置:

      640 (3).jpe

      上图是魔杖的蓝牙模块配置,开灯器的蓝牙模块配置图略,魔杖和开灯器一个作主机一个做从机就行 了

      同样使用海凌科官网提供的 HLK-B40 软件连接到蓝牙模块,按照下图内容修改参数 设置:

      640 (4).jpe

      上图需要注意的点为透传相关 UUID。

      三个 UUID 需要改成同一个才能和手机 APP 正常通信,否则手机只能连接模块但无法收发数据。

      接着在代码仓库下载源码,自行编译,或直接下载 apk。

      注意!手机 app 需要打开权限,否则无法正常使用。

      640 (5).jpe

      此 APP 不联网,定位权限是使用蓝牙的前提,不会泄露您的任何信息。

      开源项目资料获取

      需要【软硬件资料+视频演示文件】,请“复制链接”进入开源页查看:https://oshwhub.com/realtix/cyber-wand-v851s_bmi088_keras

      640 (9).gif

      PS:空调也能控制,再也不用为满屋子找不到空调遥控器而发愁啦~

      640 (10).gif

      本文转载了「立创开源硬件平台」的用户创作,如有侵权,请联系删除
      原文链接:https://mp.weixin.qq.com/s/-jUd17vBvcNGdUSbRAQDxg
      项目链接:https://oshwhub.com/realtix/cyber-wand-v851s_bmi088_keras

      A 1 条回复 最后回复 回复 引用 分享 5
      • A
        Arkhammer LV 2 @q1215200171 最后由 编辑

        @q1215200171 楼主牛逼,希望能够复刻一个出来!

        1 条回复 最后回复 回复 引用 分享 0
        • 1 / 1
        • First post
          Last post

        Copyright © 2024 深圳全志在线有限公司 粤ICP备2021084185号 粤公网安备44030502007680号

        行为准则 | 用户协议 | 隐私权政策