[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员lyx-nudt
2022-7-3 09:34:13 显示全部楼层

马上注册,玩转Robomaster!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
装甲板跟踪击打技术主要用于步兵对哨兵的击打以及哨兵自瞄。这里我们开源了一种装甲板跟踪击打的技术方案,该方案旨在设计一个能动、可观的系统以实现对装甲板的跟踪击打。

其技术特点为:
1、基于相机触发和时间戳的时间同步技术。保证相机采集时间和角度测量时间一致以及系统延时的实时计算
2、基于当前统计模型的装甲板运动参数估计,对机动变向情况有较好的响应速度
3、视觉电控联合预测技术。根据系统延时、弹丸飞行时间和系统控制时间,更改电控端状态转移矩阵时间间隔,利用视觉发送的装甲板运动参数预测装甲板延时后的位置
4、云台控制系统优化。主要用于抵消底盘运动对云台控制的影响和保证视觉空白帧下电控端控制云台的角速度与目标角速度尽可能一致

跟踪击打效果展示:
步兵自瞄击打哨兵
哨兵自瞄效果

另外,我们开源了一个基于VS的装甲板预测代码,方便大家使用各种目标运动模型对装甲板预测效果进行测试以及相关参数的调节
仓库地址:djfijj/ArmorPredict (github.com)

技术报告见网盘链接:
链接:https://pan.baidu.com/s/1YdQkF6iGtERLtojO_NChCA
提取码:k5wl

使用者注意:
1、本方案最终解释权归国防科技大学军临战队所有;
2、本开源仅限于RoboMaster参赛队技术交流,不可用于任何商业行为;
3、转载本开源作品需经过作者同意,并注明作品出处。

结语:
军临战队视觉组三个赛季以来实现了装甲板识别从无到有,自瞄跟踪从理论设计到击打实现的全过程,由衷感谢历届成员的辛苦付出以及开源社区的技术支持。在开源我们自研装甲板跟踪击打方案的同时,我们诚挚邀请各战队进行技术交流,共同推进RM视觉技术的进步。









跳转到指定楼层

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员lyx-nudt
 楼主| 2022-7-5 23:44:52 显示全部楼层
技术报告中对通信部分以及电控处理数据部分进行简要介绍,这里进行附加说明:
电控需要发给视觉的信息:本帧时间戳、云台yaw、云台pitch、弹丸速度
视觉需要发给电控的信息:转发时间戳、目标绝对角度、目标绝对角速度、目标绝对角加速度、弹丸飞行时间

通信:
关键技术:
1、使用妙算uart端口与电控A板通信
2、通信收发采取先高八为后低八位的方式,对于32位时间戳则分为四个八位由高至低传输
技术细节:
1、需要注意发送的角度、速度和加速度值带有符号
2、Singer对于系统预测返回值一般为double类型,需要注意转换为16位数的舍入误差
3、对于加速度和速度信息,建议将其扩大100倍发送以保证精度
4、结构体对齐问题

电控处理视觉数据:
关键技术:
1、帧头帧尾判断无误后按照协议对应的数据类型接收,并对放大倍数传输的数据进行缩放
2、利用接收的时间戳与现有时间戳做差,加上协议中视觉发送的弹丸飞行时间计算系统延时预测时间
3、根据延时时间更改状态转移矩阵,利用接收的角度、角速度、角加速度信息进行预测
技术细节:
1、指数运算优化
2、减少处理精度损失

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员lyx-nudt
 楼主| 2022-7-5 23:58:09 显示全部楼层
对技术报告2.4.2节中提高视觉视觉频率原因的解释:

       对于视觉反馈模式,控制频率超过反馈频率是没用的,采样等效成一个纯滞后环节,若控制频率超过采样频率,在一个采样周期内每次计算控制参数得到的都是相同的结果,即输出一样的控制量。如果把控制频率设置成和采样频率相同,得到的结果仍然和前者保持一致。
       不过,以目前视觉运算平台算力而言,即使和控制系统频率保持一致也很难达到。也就是说必定存在没有视觉的电控控制帧,我们需要规定在这一类控制帧中控制算法的行为,也就是后文中提到的对速度环的改进。另外还要尽可能提高视觉观测频率以便于滤波。

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员挖煤
2022-8-1 00:15:08 显示全部楼层
为什么不标出参考其他队伍开源文档的内容,这样做很不厚道啊。
回复 支持 8 反对 1

使用道具 举报

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员小白来了
2022-7-3 12:14:47 显示全部楼层
轩佬!!!
回复

使用道具 举报

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员popfish
2022-7-3 13:50:57 显示全部楼层
轩佬牛哇!!
回复

使用道具 举报

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员Tuzkiass
2022-7-3 16:49:02 显示全部楼层
轩佬!!!!!!
回复

使用道具 举报

[视觉算法] 【RM2022-装甲板跟踪击打技术方案开源】国防科技大学

[复制链接]
正式队员努力学习视觉
2023-8-17 00:03:42 显示全部楼层
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

触屏版 | 电脑版

Copyright © 2024 RoboMasters 版权所有 备案号 粤ICP备2022092332号

快速回复 返回顶部 返回列表