「2019」「RM圆桌」第八期如何击打大风车

RM圆桌 · 2019-3-13 15:15:53

马上注册，玩转Robomaster！

您需要登录才可以下载或查看，没有帐号？立即注册

x

登录/注册后可看帖子

vol8.jpg (1.34 MB, 下载次数: 17)

下载附件保存到相册

2019-3-13 14:58 上传

圆桌时间：2019年3月14日（周四） 19:00-20:00

圆桌嘉宾：@戈振鹏（论坛昵称：@gezp）

主持人：@快拆小分队

温馨提示：

在直播期间，大家可以直接移步至论坛技术交流版块，直播墙会自动实时更新内容。

本次活动，有一个小时的交流时间，嘉宾会根据大家的提问顺序，依次回答大家的问题，大家在看完底下的文章后，可以积极留言提问！

===============================================

先看看打中大风车的效果！！！

登录/注册后可看帖子

能量机关.gif (6.29 MB, 下载次数: 29)

下载附件保存到相册

2019-3-13 15:05 上传

一、前言

关于2019年能量机关，也就是“大风车”，作为2018年参赛者，一开始看到这道题的时候，大概有两个感觉：（1）视觉难度降低了（2）弹道要求提高了。估计很多人都有这种感觉，因为没了手写数字的识别，变成了一个8m定点打靶的任务，靶子的识别，相信做过自瞄的同学，会认为难度不大，关键是是否能打中。这么分析，今年的视觉难度真的就降低了吗？可能没那么简单。

这次能量机关分享，将会分享我在做能量机关的一个流程，不会涉及具体的算法（因为本人做出来的效果也不太好），主要涉及设计中的一些工程问题，希望可以给大家分享，其中的错误也欢迎指出，互相借鉴学习。

二、能量机关算法方案

拿到题目，第一步大概是审题，脑海里需要构建一个能量机关任务的一个轮廓，有了2018年参赛经验，不难得到这么一个流程：

获取图像——>图像处理——>运动预测——>转动云台及射击

l 获取图像：使用摄像头获取能量机关图像

l 图像处理：识别算法部分，识别一些关键元素，如装甲板，旋转中心，旋转臂的灯效种类。

l 运动预测：由于大风车是在运动，还需要进行大风车运动预测，同时子弹的运动不是一条直线，也需要进行子弹弹道补偿。

l 转动云台及射击：预测过后，就能得到云台所要旋转的pitch,yaw角，发送给stm32底层，完成控制。

a.获取图像

关于获取图像步骤，即需要考虑相机的要求，主要有两个因素需要考虑：

l 相机安装位置

l 相机镜头焦距选择

相机安装位置选择：

l 由于大风车在固定位置旋转，摄像头安装在底盘上，底盘保持不动，则摄像头相对大风车是静止的，可以大大简化图像计算，并且避免了不必要的干扰。

l 相对于安装云台上，提高了准确率和速度。

相机镜头焦距计算

相机参数

l 采用1/2”CMOS传感器芯片，130万像素分辨率

l 像素尺寸4.8μm×4.8μm

l 分辨率 1280(H)×1024(V)

焦距计算公式：

登录/注册后可看帖子

1.jpg (23.86 KB, 下载次数: 6)

下载附件保存到相册

2019-3-13 15:06 上传

具体计算：

l 风车半径为0.8m,则大小为1.6*1.6m，需要图像留有余量，方便机器人对位，这里视野取目标的3倍，则视野大小应为4.8*4.8m。

l 大风车距离桥头（镜头）距离为8m

l 相机尺寸为4.8um*1024=4.8mm

则

登录/注册后可看帖子

8.jpg (3.87 KB, 下载次数: 2)

下载附件保存到相册

2019-3-13 15:06 上传

所以，最终，考虑选择8mm的镜头。

b、图像处理

根据比赛规则，能量机关具有大量发光特征，应该充分利用，可以方便视觉进行处理，相信做过自瞄算法的同学一定不会陌生。这里可以参考官方ICRA步兵开源项目RoboRTS（https://github.com/RoboMaster/RoboRTS ） ,其中的roborts_detection 包中的armor_detection/constraint_set下的相关识别算法可以借鉴。

图像处理结果大致如下：（仅供参考）

登录/注册后可看帖子

3.png (220.43 KB, 下载次数: 7)

下载附件保存到相册

2019-3-13 15:06 上传

登录/注册后可看帖子

2.png (11.34 KB, 下载次数: 5)

下载附件保存到相册

2019-3-13 15:06 上传

l 左图为原图，右图为处理后的二值图

l 过滤掉背景噪音后，在二值图上可以方便的提取关键元素。

提取关键元素：

l 装甲板：提取装甲板，后续可以使用pnp算法解算位置，得到打击目标位置。

l 旋转臂：由于需要区分激活状态的旋转臂和未激活的旋转臂，所以需要提取该部分元素进行区分。

l 旋转中心：发光R，由于大风车处于旋转状态，需要进行圆周预测，那么圆心位置是必不可少的。

如何提取关键元素：

l 相信大家在二值图上已经肉眼可见这些关键元素了，而且这些元素非常独立，非常容易进行提取。

l 这个就和自瞄算法提取装甲板用的方法一样，如果是使用opencv，可以使用两个非常强大的函数 findcontours()和minAreaRect() ，然后使用约束条件进行匹配选择，如长宽比，大小，角度等。当然这只是其中一种方法，限于才能，只能给大家介绍这一种了。

当然，上述列举的主要的普通关键元素，也不是所有关键元素都是必须的，也可以自己构建其它关键元素，如不使用装甲板，提取整个旋转臂元素，利用旋转臂来做PnP解算位置也是可以的。

c、运动预测

大风车运动模型：

由于大风车旋转，对于识别到的打击目标，需要进行预测才能真正的打中目标。大风车做匀速圆周运动，需要获取圆周运动的圆心（待测），半径（已知）和速度（已知），通过建立大风车运动模型来进行预测。

这里给出几种预测方案：

l 方案一：记录多个装甲板点（开始只进行图像处理），建立装甲板运动在3维空间的圆的方程，从而进行预测。

l 方案二：平面简化版模型，在图像上，得到大风车中心点，得到装甲板目标中心，直接得到图像平面圆方程，从而进行预测。

由于方案一比较复杂，这里为大家介绍一种简单近似方案，即求平面圆的方案二。

登录/注册后可看帖子

4.png (56.97 KB, 下载次数: 5)

下载附件保存到相册

2019-3-13 15:07 上传

并且，进一步简化模型，即固定预测时间t，从而固定的预测旋转角度theta。

l 固定预测时间t：在stm32端实现，采用一个定时器，固定延时发射子弹。

方案二的优、缺点很明显，

l 优点：简单，便于实现。

l 缺点：对于打击能量机关的位置很敏感，必须正对能量机关，不正对会带来预测误差。

子弹抛物模型：

由于距离较远，必须考虑重力对子弹的影响，可以建立重力模型，对子弹进行建模，从而对云台所需要的仰角进行补偿。

在官方ICRA步兵开源项目RoboRTS（https://github.com/RoboMaster/RoboRTS）中，有一个一个抛物线弹道修正模型，可以进行参考。

在这里，依然采用简化模型，主要考虑到是定点打靶，所以重力偏移变化不会太大，所以给出一下方案：

l 建立一个pitch偏移表，通过偏移量查表来进行补偿。

d.方案总结

大致的能量机关方案设计如上所述，总结一下，就是下面一张（看似简单的）图。

登录/注册后可看帖子

FL_Who · 2019-3-14 09:57:02

各位大佬相机标定误差特别大怎么办还有solvePNP 总是存在一些死区在那一块解算出来的结果根本不对

whl970831 · 2019-3-13 18:30:04

提问1.是否有不在桥头打的方案，个人觉得今年的能量机关更看重机械与电控
提问2.是否用Yolov3算法来考虑（深度学习）
提问3.可不可以利用大风车圆周运动设立相应的四个点（上下左右）来减轻弹道预测的负担。即提前将枪口对准到即将进入的下一个点。
提问4.新参加队伍如何应对今年的能量机关（省钱）

感谢

whl970831 · 2019-3-13 15:49:00

我肯定是第一个了，有鸡腿吃

xiaonzhen · 2019-3-13 15:50:32

跟一楼吃鸡腿

RM圆桌 · 2019-3-13 16:41:12

whl970831 发表于 2019-3-13 15:49
我肯定是第一个了，有鸡腿吃

哈哈哈哈，请提问

RM圆桌 · 2019-3-13 16:41:24

xiaonzhen 发表于 2019-3-13 15:50
跟一楼吃鸡腿

快提问

快拆小分队 · 2019-3-13 16:49:43

支持下

whl970831 · 2019-3-13 18:30:35

快拆小分队发表于 2019-3-13 16:49
支持下

你的鸡腿掉了

Pythoner · 2019-3-13 20:35:04

写的很好很有收获

贱贱小兔子 · 2019-3-13 21:25:40

绝不缺席，有没有学校把大风车搞出来了

[其他] 「2019」「RM圆桌」第八期如何击打大风车

马上注册，玩转Robomaster！

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

点评

[其他] 「2019」「RM圆桌」第八期如何击打大风车

点评

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

马上注册，玩转Robomaster！

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

点评

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

点评

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期 如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车

[其他] 「2019」「RM圆桌」第八期如何击打大风车