1.项目介绍

1.1 项目开源地址： https://github.com/T-DT-Algorithm-2025/T-DT_Radar

1.2 项目简介：

{95DA775E-0EF5-E3BE-4DF9-D6F2095ACD9D}.jpg

本项目通过激光雷达和单目相机的目标检测，进行传感器后融合，实现了传感器之间的完全解耦合，避免了联合标定方案带来的误差,精度高，延迟低。兼容所有工业相机和激光雷达，可拓展性强，造价低，同时开发难度不随传感器数量增加而增加。

在上赛季的基础上，我们进一步更新了各个依赖的版本以追求更活跃更新鲜的生态与更先进的特性，同时修复了上个赛季遗留的少量bug增强项目的鲁棒性。

1.3 实战效果：

ps：本项目中多传感器的单目相机部分可以直接应用于单目相机方案，且在 RM2023 赛季规则误差允许0.6m的条件下使用 CA-023-10UC 达到了91%的单场最高识别率，荣获2023赛季雷达MVP。

本项目连续入选2024,2025两届全明星赛，并在2025全明星赛中获得全国赛局均伤害第一，局均高亮时长第二的好成绩

1.4 联系方式

Email: zhujunheng2005@gmail.com

QQ: 820288431

2. 项目分析

2.1 背景

2024赛季放宽了雷达定位的规则并且提高了锁定对手的收益，而在2025赛季规则下，作为唯二全自动兵种的哨兵机器人与基地开花接触耦合从而变得更加灵活，一个优秀的全局决策可以从战术上全面压制对手。在雷达识别准确率普遍提升的大环境下，如何实现全图视野并为哨兵机器人提供充足信息便成为了重中之重。

2025国赛操作间的改动让雷达吃到了一波物理意义上的加强，毕竟操作手不看小地图（bushi

2.2 目标

实现精准的机器人定位，敌方机器人一旦进入雷达视野就高亮，同时对特定区域进行探测。
使用深度学习输出为哨兵提供高维信息。
飞镖舱门开启预警，空中机器人粗略定位。
哨兵机器人的定位掉线时，使用雷达定位进行补救。
为操作手提供直观敌人位置，配合哨兵追击英雄。

2.3 需求分析

机械部分

稳定固定传感器端
yaw/pitch方向微调
可拓展性
快速定位朝向

电控部分

与裁判系统通信
转发哨兵信息

算法部分

定位敌方机器人
视野盲区优化
哨兵宏观决策
飞镖，飞机预警
雷达双倍易伤触发
人机交互UI
重启后全自动运行
为操作手提供敌人信息

3.设计方案

3.1 机器人参数

名称	参数
激光雷达	Livox Avia
工业相机	Hikvision CH-120-10UC
镜头	1200万像素
CPU	Intel i7-12700KF
GPU	Nvidia RTX A4000 * 2
内存	DDR4 16G * 2
系统版本	Ubuntu 24.04
推理框架	TensorRT 10
ROS2 版本	Jazzy
OpenCV 库	4.6.0
PCL 库	1.14.0

3.2 架构设计

雷达框架基于ROS2 C++编写，通过将不同的任务分配给不同的package，对接ros2接口实现高度解耦合，流程图如下：

本系统的架构，是一个三层式的金字塔结构，自下而上地实现从原始数据到最终决策的处理流程：

底层 - 并行的感知模块：这是金字塔的基座，包含两条并行的、独立的感知模块。LiDAR模块专注于提供高精度、纯粹的位置信息；相机模块专注于提供的语义信息。它们共同为上层提供精确稳定的数据。
中层 - 融合与追踪核心：这是金字塔的中部，是信息处理的中枢。它接收来自底层的多元化数据，通过卡尔曼滤波器，将离散的目标点融合语义信息形成连续、平滑、带数字信息的运动轨迹，将零碎的数据组合成有条理的信息。
顶层 - 信息枢纽：决策与分发核心：这是金字塔的塔尖，是系统的顶点与出口。它将中层输出的纯净的信息，与比赛信息结合，生成经过置信度累积的可信的决策消息，并将其分发给需要的其他兵种，将信息构建成完整的决策网。

3.3 传感器信息处理

（1）单目相机相关流程

模块耗时：相机取帧100ms,模型推理20ms

在3分钟准备阶段，运算端部署队员打开主机，启动相机标定节点，程序进入5点标定阶段。标定完成后获得相机外参，随后自动运行单目相机程序，检测当前相机画面中敌方机器人装甲板，送入解算节点，结合准备阶段标定的相机外参计算出机器人在场上的二维坐标，最后发送给传感器融合节点。

（2）激光雷达相关流程

模块耗时：点云取帧(忽略不计)，离群点检测1~2ms,聚类1~2ms

在3分钟准备阶段，运算端部署队员打开主机，雷达程序、Livox驱动自动运行，执行点云配准。误差达到一定允许范围内时，自动结束配准并广播从雷达坐标系到赛场坐标系的tf2变换，离群点检测（动态点云）节点接受到tf2变换后自动处理从Livox驱动收到的点云，并输出动态点和特殊的检测信息(飞机检测、飞镖检测和工程特殊优化)，发送给聚类节点。聚类节点收到动态点云后进行聚类，将分类出来的点云直接取平均中心点，发送给传感器融合节点。

（3）信息融合

模块耗时：<1ms

卡尔曼滤波器节点主要负责追踪激光雷达的识别结果，并且将相机的识别结果融合到激光雷达的追踪轨迹中。这一步骤消除了相机外参标定带来的误差(我们认为激光雷达识别的精度是100%准确的)，并且通过时间同步，将过去的相机识别信息赋给了最新的雷达识别结果，消除了相机方案的识别滞后，同时也降低了对推理时间的要求。

卡尔曼滤波节点收到点云识别结果后，对于所有点云识别结果和当前状态下卡尔曼滤波轨迹进行匹配：对于每个识别结果，遍历所有卡尔曼滤波器，如果和当前至少一个卡尔曼滤波器匹配，则更新距离预测点最近的一个，并将滤波器的生命周期复原，否则维护全新的卡尔曼滤波器。

卡尔曼滤波节点收到相机识别结果后，对于所有相机识别结果和当前状态下卡尔曼滤波轨迹进行匹配：[1]对于每个识别结果，遍历所有卡尔曼滤波器，并查询相机取帧一定范围内时间上最近邻的历史点，如果这个历史点和识别点坐标符合一定的匹配要求(欧式距离<1m)，则视为匹配成功，并在历史颜色队列和历史装甲板数字队列队尾添加匹配成功的识别结果的颜色和数字。

3.4 相关算法设计

（1）点云配准算法GICP

迭代最近点（Iterative Closest Point, 以下简称ICP）算法是一种点云匹配算法。在项目实践中我们发现这一算法难以完成场地模型与真实点云的配准，于是采用更加合适的GICP算法,通过 为场地模型手动添加四面墙 的方法补全特征，迅速完成无初始外参配准。

图3：激光雷达与场地配准可视化，图中可以看出手动构建的四面墙和场地点云完全重合

（2）透视变换

透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

简而言之，就是将三维空间的一个平面通过一个投影矩阵投影到另一个平面上。

（3）离群点检测

将场地模型与真实点云配准后，通过最近邻点搜索可以判断一个点是否属于场地模型本身的点云，通过使用 Kd-Tree 和多线程优化后平均每10000点耗时1ms。这样我们就获得了所有的运动物体的点。

（4）solvePnP相机外参标定

为了获取准确的相机系坐标和赛场平面的变换矩阵，可以使用solvePnP算法来求解。通过手动标出在相机系上和世界点对应的五个点，自动计算出对应的变换矩阵。

（5）聚类

为了区分不同点云簇，使用欧几里得聚类将所有相互距离不超过0.25m的点归为一类。

（6）卡尔曼滤波

为了进行传感器的后融合，我们使用卡尔曼滤波器追踪机器人的x,y坐标，观测量为x,y，状态量x,y,vx,vy。同时kalman_filter类引入了历史装甲板信息队列，根据历史信息中的众数确定颜色和数字，显著减少了误识别带来的影响。

（7）三层神经网络

由于1200W像素的画幅过大，难以直接进行装甲板的识别，所以采用三层神经网络，将识别任务解耦合，缓解了每个识别任务的分辨率需求，同时也大大减小了开发难度。

推理方面，TensorRT的多batch推理极大地提升了多图片推理的速度，对于分类网络的提速甚至到了10倍以上，并且时间同步消除了相机取帧+推理时间的误差，所以模型推理的加速并不是当前雷达开发的重点。

	模型名称	输入尺寸	推理时间(RTX A4000)	用途
第一层	yolov8s	1280x1280	15ms/图	识别机器人
第二层	yolov8s	192x192	0.2ms/图，2ms/batch	识别装甲板
第三层	resnet18	224x224	0.1ms/图,2ms/batch	数字分类

4.复盘分析

在RM2025全国赛阶段，我们最终使用了当前方案，取得了良好的效果，一旦敌方机器人出现在雷达视野中，云台手就能立刻看见对方高亮机器人。当对方五台机器人同时出现在视野中时做到了长时间锁定五台机器人。

由于当前RoboMaster规则对于机间通信的限制，我们不能做到真正的统筹所有信息，如果规则进一步开放，我相信协同所有兵种的自瞄程序也将成为可能。

5.经验与不足

雷达还有以下部分等待后人的智慧：

更强大的决策：端到端的哨兵机器人宏观决策。
视觉追踪：探索类似DeepSORT的深度目标追踪算法
双倍易伤触发：探究更合适的触发时机。
有向图预测：针对传感器盲区进行特殊优化