「2019」「RM圆桌」第五期抢人头要靠自瞄

RM圆桌 · 2019-2-14 17:30:32

马上注册，玩转Robomaster！

您需要登录才可以下载或查看，没有帐号？立即注册

x

登录/注册后可看帖子

圆桌时间：2019年2月15日（周五） 19:00-20:00

圆桌嘉宾：@龙永灏（论坛昵称：scut_lyh）

温馨提示：

在直播期间，大家可以直接移步至论坛技术交流版块，直播墙会自动实时更新内容。

在前20分钟内，为主持人嘉宾对话时间，这段时间内嘉宾是不会回答其他参与者的问题的，大家可以在后面40分钟的自由问答时间内提问。

参与本期活动的网友，我们将挑选出一位优秀提问者，奖励3510电机（8成新）。

登录/注册后可看帖子

电机.jpg (341.37 KB, 下载次数: 1)

下载附件保存到相册

2019-2-14 17:14 上传

==================================================================

1、 什么是自瞄？你们是怎么利用自瞄获取比赛胜利的？为什么要做自瞄？优势在哪？

所谓自瞄，就是利用机器视觉来实现自动瞄准敌方和辅助打击的一种技术，在以往的比赛中，都是以纯手动打击为主，但人的操作和反应能力往往不如机器的快，正确的使用自瞄，宛如“开挂”一般，可以大大提升各单位的命中率既输出能力，给己方的输出提供强有力的支持和保障，在赛场上，拥有自瞄的队伍通常能起到非常强大的震慑作用，给队伍带来很大的技术优势。

2、 自瞄怎么做起？

1）编程语言选择

C++、python：

C++是编译型语言，是编译执行的，程序是先需要编译成二进制执行程序，既机器码，然后才能执行，编译的时候编译器可以进行一些优化，python是解释型语言，是解释执行的，和物理机CPU之间多了解释器这层，所以运行效率C++ >> python。

但python也有它的好处，python编程更加简单高效，不需要像C++一样要去关心底层内存的操作，python使程序员只需更加关注程序的目标而不是过程，所以非常容易上手，也非常容易实现想要的功能。

通常最好的选择是用c++搭建辅助打击框架，不过python也可以用在部分算法的验证、辅助工具的编写上面，在编程能力有限的情况下，python也是个不二选择。

2）第三方库的运用

俗话说的好，前人栽树后人乘凉，如果所有的算法都从零写起那得需要多少时间和经历，是十分不可取的，所以合理使用第三方平台能快速实现想要的功能。

OpenCV：OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV的官网有很多教程，同时社区也很完善，很多问题直接搜索就可以解决：https://opencv.org/

HALCON：HALCON是德国MVtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。它节约了产品成本，缩短了软件开发周期——HALCON灵活的架构便于机器视觉和图像分析应用的快速开发。

HALCON学习网：http://www.ihalcon.com/（包含教程、软件下载、论坛等）

普遍的方案都是使用C++和OpenCV实现视觉算法，而HALCON是商业级别的软件（说白了就是正版要用钱买，而且比较贵），由于其使用的简易性、调试的便捷性和算法的高度集成性，在工业上采用的极多，HALCON可以通过可视化编程和利用一系列辅助工具缩短程序开发时间，同时该平台提供了大量实际应用的成熟方案DEMO，例如OCR光学字符识别、零件尺寸测量、三维物体识别等等，其运行效率和精度也是不容小觑的。

3）计算平台的选择

这里介绍两种主流的选择

A、NUC

NUC是intel推出的mini PC，性能和日常使用的笔记本甚至台式机的性能相当，优点是体积较小，而且由于是intel框架的，程序的移植非常容易，不需要做什么修改就能从自己的PC移植到NUC上，缺点是显卡用到是Intel的集成显卡，不易使用GPU加速的算法。

登录/注册后可看帖子

11.png (152.07 KB, 下载次数: 6)

下载附件保存到相册

2019-2-15 20:57 上传

NUC的图片

B、NVIDIA JETSON(TX1、TX2)

NVIDIA Jetson 是业内领先的 AI 计算平台，它面向移动嵌入式系统市场中的 GPU 加速并行处理。在深度学习和计算机视觉方面的高性能、低能耗计算，使得 Jetson 成为计算密集型嵌入式项目的理想平台。

因为该平台和PC的框架不同，所以使用过的人都会发现该平台有些很奇怪的坑，但如果用好了，该平台的性能是远大于NUC的，尤其是它在神经网络上的加速，是NUC无法比的，此外，TX1、TX2的体积和质量比NUC小很多，非常适合在对重量敏感的机器人上应用（如无人机）。

登录/注册后可看帖子

22.png (147.49 KB, 下载次数: 1)

下载附件保存到相册

2019-2-15 20:58 上传

TX2核心板的图片

当然以上两个计算平台的共同特点就是贵……..

如果想要节省RMB，就只能牺牲计算的速度，退而求其次选择其他的开发平台，

例如Firefly的ARM开发板，官网传送：http://www.t-firefly.com/

3、 自瞄算法的一般思路

1）设置合适的相机帧率和曝光时间：在自瞄的应用下，较高帧率和较低的曝光时间对图像处理有很大的帮助，可以避免过多噪声，防止运动过快导致图像模糊，这些参数需要在不同光照条件下进行测试调参。

2）图像预处理

因为灯条分为红蓝两色，预处理时可以采取颜色分割的方法将图像处理为二值图方便下一步的灯条提取。

HSV颜色空间分割：通常相机获取得到的图像都是RGB颜色空间，不方便直接进行颜色分离，因此转化为HSV颜色空间再进行分割。

HSV颜色空间由色调（Hue）、饱和度（Saturation）、亮度（Value）三个分量构成，HSV更接近于人眼的主观感受。我们可以通过下面的图来展示HSV颜色分布情况：

登录/注册后可看帖子

1.jpg (25.01 KB, 下载次数: 1)

下载附件保存到相册

2019-2-15 20:59 上传

登录/注册后可看帖子

通过寻找红色蓝色对应的分量，将该颜色的区域划分出来，最后得到二值化的图像。

登录/注册后可看帖子

还有一些感悟，有同学说大佬的回答有点保守，以下引用@山野个小菜花哟的话告诉大家

简单的东西做到极致，真的很厉害了呀。很多行成商业应用的内容，本质原理也不难，但是难在可以做到稳定，做到有极高的鲁棒性。做RM不是写学术论文，没必要把东西吹嘘的那么大，简简单单才是真。越简单的东西反而越不容易出错。

山野个小菜花呦 · 2019-2-15 20:16:41

很多行成商业应用的内容，本质原理也不难，但是难在可以做到稳定，做到有极高的鲁棒性。做RM不是写学术论文，没必要把东西吹嘘的那么大，简简单单才是真。越简单的东西反而越不容易出错。

小水滴撞撞撞 · 2019-2-15 19:48:17

小白的视觉算法一换光源就瞎了，总需要临场调试。大佬们的视觉是怎样适应不同光线条件，怎样高效的在比赛条件下调试的？

scut_lyh · 2019-2-15 19:11:21

3、自瞄算法的一般思路

1）设置合适的相机帧率和曝光时间：在自瞄的应用下，较高帧率和较低的曝光时间对图像处理有很大的帮助，可以避免过多噪声，防止运动过快导致图像模糊，这些参数需要在不同光照条件下进行测试调参。
2）图像预处理
因为灯条分为红蓝两色，预处理时可以采取颜色分割的方法将图像处理为二值图方便下一步的灯条提取。
HSV颜色空间分割：通常相机获取得到的图像都是RGB颜色空间，不方便直接进行颜色分离，因此转化为HSV颜色空间再进行分割。
HSV颜色空间由色调（Hue）、饱和度（Saturation）、亮度（Value）三个分量构成，HSV更接近于人眼的主观感受。我们可以通过下面的图来展示HSV颜色分布情况：

登录/注册后可看帖子

东海鱼鱼 · 2019-2-15 19:21:21

卡尔曼对于爆发运动预测效果还是比较差，请问有什么好的解决方案吗？

山野个小菜花呦 · 2019-2-15 19:20:01

目标预测问题，可以用卡尔曼滤波，知乎上官方ICRA有一篇关于使用卡尔曼滤波的预测方案，可以参考一下

丞锋大宝贝 · 2019-2-15 18:56:54

在哪里直播呀

快拆小分队 · 2019-2-15 18:55:50

我是主持人谢谢大家支持

RM圆桌 · 2019-2-15 10:38:19

自己支持自己

快拆小分队 · 2019-2-15 16:31:12

期待下！！

robomaster · 2019-2-15 16:31:37

victory:

支持支持

scut_lyh · 2019-2-15 16:33:49

顶自己

快拆小分队 · 2019-2-15 18:52:33

快开始啦！

山野个小菜花呦 · 2019-2-15 18:52:46

守候每周的RM圆桌

东海鱼鱼 · 2019-2-15 18:53:59

支持支持支持

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

马上注册，玩转Robomaster！

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

点评

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

马上注册，玩转Robomaster！

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

点评

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期 抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄

[其他] 「2019」「RM圆桌」第五期抢人头要靠自瞄