[视觉算法] 【线上评审】算法部分概况

[复制链接]
上士Logic
2020-9-6 12:13:16 显示全部楼层

马上注册,玩转Robomaster!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 Logic 于 2020-9-6 12:16 编辑

大家好,我是RM负责组织线上评审的工作人员,后面会陆续发出各个方向线上评审技术的概况。今天先发下算法部分。

雷达站普遍的学校使用了深度学习的方法,采用了官方的数据集进行了训练,但是很多学校展示的效果都是把网络再训练集上面跑,这样搞没有啥意义。大多数学校的网络没有深入考虑网络的泛化性问题,这样的网络大概率到了场上没法使用。有些学校对于这个问题的考虑比较好,有的是选择不使用深度学习的方法,使用传统视觉的办法可能也是一种解法。另一方面也有云南大学&中国科学院深圳先进技术研究院Future机器人战队自己建立了数据集并进行了开源。附带开源链接(https://github.com/Damon2019/RM-DATASET)。希望同学们能够把自己的数据集都按照这个学校的规范进行上传,这样能让大家的网络都更加鲁棒。

雷达站完成识别过后,很多学校到这里就结束了,并没有结合比赛系统思考应当如何使用。例如利用自定义UI给每个操作手绘制小地图,或者做透视挂的效果,部分学校利用比赛的直播录像进行测试,利用单目测距的方法进行了投影,但是普遍都没有考虑到了现场单目测距的几个参数应该如何标定,单目测距在物体处于不同高度时的透视问题。应该考虑如何使用场地上的场地标记来进行视觉系统自己位置的标定。当然除了单目的方法,还有学校采用双目、激光雷达与视觉融合等方法,目前来看会比单目的效果更好。

有少数几个学校尝试了利用雷达给步兵机器人做透视挂,这个确实是1个很酷的功能,目前看来大家使用UWB来确认机器人本身的位置没有什么问题,但是摄像机的朝向普遍采用的是测速机构上面的磁力计,目前来看问题很大,没有考虑到比赛场馆磁场的不确定性,这个也是组委会无法保证的。如何在室内确定机器人的朝向在不依赖视觉系统的情况下确定是1个比较困难的问题,大家可以集思广益,新的赛季组委会也可以在场地四周提供一些视觉标签来辅助大家完成这个功能。大家可以留言发表自己的意见。

对于如何使用雷达站对检测到的“敌军”进行危险评估方面,很多学校都只停留在概念上,而北京理工大学则制定了一套危险评估表,通过对场地的区域进行划分与敌我双方的状态进行危险系数的评估,并在模拟器上模拟了不同机器人在场地不同位置的危险系数。通过模拟器进行诸如此次类难以复现实际场景下的测试是一种值得推广的方式。


装甲识别与自动射击

浙大、上交 都用了IMU与相机系统的同步,一套良好的时间系统是做复杂算法的基石。

其中很多学校希望在自动射击的装甲板检测中采用学习的方法,这种方式本身是不推荐的。因为学习的方法无法非常准确的定位装甲板的位置,这就导致了没办法利用pnp等单目测距的方式。同时由于嵌入式算力的限制,检测帧率做不到很高,导致自瞄滞后等问题。泛化性也是一个需要思考的问题。总体而言在目前的水平下,不太容易做的效果很好。

另外,在网络开源的装甲识别方案中,很大程度上是在调节曝光值提高装甲板灯带与背景的差异。如此曝光值就显得十分重要,而该曝光值会随着时间变化、红蓝场地变化而变化了,这就需要考虑如何让机器人自适应最优曝光。十分欣慰的是很多学校已经考虑了自动曝光、场前标定等方面,不失为新队伍提供了思路与方向。

西安交通大学采用光束平差的方法对整车位置进行优化,装甲识别、测量相关算法,不管是效果还是算法深度在RM比赛中做出了较大的突破,特别是能够以1个整车为单位预测机器人的运动,再后面的控制环节也能带来很大的帮助。



关于设备选型

在视觉系统中,设备的选型是至关重要的,任何1个参数设置讲不清楚所以然,在开发后期都会踩雷。尤其是双目系统基线长度,并没有几个学校能够讲清楚是如何确定的。讲不清楚精度需求与基线长度的确定过程,然而这些知识都是在网络上很容易搜索获得的。


通过本次评审,发现大家深度学习的热情高涨,仅凭官方一家开源的数据集越发不能满足各个学校的学习使用。故希望各个学校、赛队、组织、个人能够在参赛、备赛过程中能够采集、标注不限于第一视角、第三视角的有关RM战车的图片并公开数据集,一起完善RM learning的生态圈。





跳转到指定楼层

[视觉算法] 【线上评审】算法部分概况

[复制链接]
下士AAAAALITA.
2020-9-9 12:54:41 来自手机 显示全部楼层
这雷达站超过了我的认知....
回复 支持 1 反对 0

使用道具 举报

[视觉算法] 【线上评审】算法部分概况

[复制链接]
下士JapenG
2020-9-6 16:06:34 显示全部楼层
顶顶顶
回复

使用道具 举报

[视觉算法] 【线上评审】算法部分概况

[复制链接]
下士Ferita
2020-9-8 22:38:52 显示全部楼层
罗哥牛牛牛

[视觉算法] 【线上评审】算法部分概况

[复制链接]
上等兵mohiniattam
2020-9-28 08:54:26 显示全部楼层
新人学习!!
回复

使用道具 举报

[视觉算法] 【线上评审】算法部分概况

[复制链接]
上等兵Jockey
2020-10-21 10:52:42 显示全部楼层
新人学习+1

[视觉算法] 【线上评审】算法部分概况

[复制链接]
下士陈运鹏
2020-11-19 23:15:26 显示全部楼层
冲冲冲泛化性也是一个需要思考的问题。总体而言在目前的水平下,不太容易做的效果很好。

[视觉算法] 【线上评审】算法部分概况

[复制链接]
上等兵ITSWORTH
2021-3-30 16:17:26 显示全部楼层
牛牛牛牛牛牛牛牛牛牛牛牛牛牛
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

触屏版 | 电脑版

Copyright © 2021 RoboMasters 版权所有 备案号 粤ICP备12022215号

快速回复 返回顶部 返回列表