项目仓库地址： https://github.com/Myshrimp/RM_Labeling_Tool

Unity引擎凭借其高保真物理模拟、可编程渲染管线及完善的感知工具链，已成为智能机器人视觉仿真与合成数据生成的重要基础设施。RoboMaster机甲大师赛中的能量机关（“大符”）作为核心战术节点，在高速旋转、动态灯光切换及严苛实时打击规则下，对机器人视觉系统的目标检测、关键点定位与轨迹预测能力具有极高要求。然而，真实赛场数据采集受限于场地成本、光照突变及安全风险，难以维持长期运营；人工标注又存在效率低、误差大等问题。在此背景下，如何利用Unity构建高拟真仿真环境并生成高质量合成数据，成为突破视觉算法数据瓶颈的关键路径。

本文基于Unity引擎设计并实现了一套面向RoboMaster能量机关的合成数据生成与仿真平台。首先是依托URP渲染管线搭建包含战场地形、能量机关、动态光照等要素的高拟真比赛场景，实现基于物理的材质渲染与复杂光照模拟。然后是本文的核心，开发自动化数据采集与标注模块，利用RenderTexture技术捕获高分辨率图像，并通过视锥剔除与法向量点积算法完成关键点可见性判定，自动导出YOLO格式的归一化坐标标注。随后进一步扩展，引入多模态域随机化策略，对相机位姿、光照参数、运动模式等进行系统随机采样，以增强合成数据的视觉多样性。最后，采用YOLOv5算法在生成数据集上进行关键点检测训练与验证。实验结果表明，模型在测试集上的mAP@0.5达到92.3%，关键点定位精度达94.0%，验证了仿真平台所生成数据的高精度与可用性，为Sim-to-Real迁移提供了可复用的技术框架。

本平台采用了模块化架构设计，整体被划分为场景层、逻辑层以及数据层这三个层次，具体如图1所呈现。

架构图.png

图1 仿真平台系统架构

场景层主要负责三维场景的视觉呈现，包含战场地形模型、能量机关模型、光源组件以及虚拟相机等内容。所有场景对象都以GameObject的形式在Unity场景层级中进行组织，并且借助Transform组件来对空间位置以及姿态加以管理。逻辑层实现场景对象的动态行为与交互逻辑，具体包括能量机关的旋转控制、用户输入响应以及配置参数管理等方面的内容。数据层承担着图像采集以及标注数据生成导出的任务，它是连接仿真环境与算法训练的关键桥梁。

项目框架借助Unity的ScriptableObject系统来达成配置管理的目的，ScriptableObject属于Unity所给出的一种数据容器类型，它能够独立于场景实例存在，并且可以在多个场景之间共享配置数据^[9]。本平台设定了FanControllerSO、FanSO以及HashSO等诸多配置类，它们分别用于存储能量机关控制参数、扇叶灯光配置以及场景映射关系，依靠反射机制把配置字段展现至Inspector面板上，开发人员可较为便捷地对仿真参数加以调整，而无需改动代码。

配置系统的核心在于把易变参数从代码逻辑中剥离出来，达成数据驱动开发的目标。 FanControllerSO用于存储能量机关的全局运动参数，其中包含了最大转速speed、旋转频率 frequency以及加速曲线类型；FanSO用来定义单个扇叶的灯光配置，以状态机的形式存储 Idle、Activated、NotActive这三种状态下需要点亮的灯带索引列表；HashSO负责维护场景名称与加载键值之间的映射表，能够通过字符串键值来动态加载场景资源。

这种分层配置策略有着诸多优势，当比赛规则发生调整，进而使得能量机关运动参数出现变化的时候，只需要对配置资源文件加以修改，就能够适配新的规则，而不需要重新去编译代码。在需要批量生成不同工况的数据集时，可以通过预先设定多组配置文件，并且切换加载的方式，来快速达成参数空间的覆盖。

场景搭建与渲染

场景模型导⼊与布局

比赛场景是按照RoboMaster官方规则手册里所规定的场地规格来搭建的，战场地形包含了起伏路面、掩体、补给区以及环形高地等多种要素。所有模型都是以OBJ格式从三维建模软件导入到Unity中的，在导入之后，这些模型会经过网格优化以及碰撞体附加这样的处理过程，以此来确保物理交互能够达到正确的效果。

能量机关是视觉关注的重点对象，其建模精度对后续检测算法的训练效果有着直接的影响。能量机关是由底盘支架、旋转臂以及五个扇叶构成的，每个扇叶都包含正面装甲板、背面结构还有边缘灯带等部分。在Unity当中，能量机关被安排成了层级化的GameObject结构：根节点负责承载整体的变换以及控制器脚本，子节点则分别对应各个扇叶，而扇叶内部还进一步细分为装甲板、灯带等部件。

仿真场景搭建过程中，首先需要下载并导入Robomaster官网发布的比赛场地模型，然后对比实际比赛场地进行模型的切割，比如能量机关模型需要切割出可旋转的部分，选择相应的材质进行纹理映射，除此之外，能量机关的状态灯需要手动建模并编写Shader制作特殊发光效果。图3.2展示了场景搭建的成果。

为提升场景的视觉真实感，本平台运用基于物理的渲染流程，战场地形借助高分辨率漫反射贴图以及法线贴图来呈现混凝土与金属表面的微观细节。能量机关装甲板采用标准金属度工作流程（Metallic Workflow），设定较高的金属度值以及适中的粗糙度值，以此呈现出哑光金属质感。

能量机关灯带的自发光效果是借助自定义Shader来达成的，在Shader Graph里，运用Time节点促使UV坐标产生偏移，并且结合渐变纹理（Gradient Texture），以此模拟灯带颜色从中心朝着边缘呈现出衰减过渡的情况。处于激活状态的扇叶灯带会呈现出明亮的蓝/红色，而未激活状态的则呈现出暗淡的灰色，二者在视觉上存在较为显著的差异，这对于检测模型去区分不同的状态类别是有益的。

场景光照运用混合光照策略：主光源是方向光（Directional Light），可模拟自然日光并产生清晰的阴影；辅助光源包含点光源（Point Light）与聚光灯（Spot Light），用来照亮掩体内部等阴影区域；环境光借助天空盒（Skybox）与光照探针（Light Probe）提供间接照明。经过反复调试光照烘焙参数，保证能量机关表面的光照对比度适中，既不会过曝也不会欠曝。

基于物理的渲染与光照模拟

图像真实感的关键点在于能够对光与材质之间的交互关系加以精确的模拟。该平台在URP管线当中全面运用基于物理的渲染（Physically Based Rendering, PBR）流程，以此来保证合成出来的图像在光照响应、表面反射以及能量守恒等诸多方面都符合物理规律，进而提高训练数据向真实场景迁移时所具备的可信程度。

URP里的PBR材质运用的是金属度-粗糙度工作流（Metallic-Roughness Workflow），其关键参数有基础颜色（Base Color）、金属度（Metallic）、粗糙度（Roughness）以及法线贴图（Normal Map）中的金属度参数用于控制材质表面导电特性所占的比例：在金属度为0的情况下，材质呈现出电介质的特性（比如塑料、混凝土），其反射颜色是由基础颜色和漫反射共同决定的；而当金属度达到1时，材质则表现为纯导体（例如铁、铝），此时反射颜色直接由基础颜色确定，漫反射成分会消失。能量机关的装甲板材质将金属度设置为0.85，粗糙度设置为0.45，以此来呈现真实金属装甲在赛场灯光下那种亚光反射的特性。

粗糙度参数可控制材质表面的微表面平整程度，从而对反射高光的光斑形状产生影响。粗糙度越低时，反射效果就越接近镜面；而当粗糙度越高时，反射则会趋向于漫散。在能量机关灯带材质当中，将粗糙度设置为0.2，让发光表面呈现出柔和的高光过渡效果；战场地面混凝土材质的粗糙度被设置为0.9，以此来呈现其粗糙且无光泽的表面质感。法线贴图在几何表面细节保持不变的情况下，通过扰动表面法向量去模拟微观凹凸结构，以此增强材质表面的视觉丰富程度。

光照系统的物理正确性直接决定了渲染图像的质量。本平台构建了多层级光照体系：主方向光模拟太阳直射，强度范围0.8–1.5，色温范围5000K–6500K，可配置阴影分辨率与级联分裂参数；反射探针（Reflection Probe）在能量机关周围区域烘焙立方体贴图（Cubemap），为金属材质提供准确的环境反射信息；后处理栈（Post-processing Stack）集成色调映射（Tone Mapping）、环境光遮蔽（Ambient Occlusion）与泛光（Bloom）等效果，进一步提升图像的动态范围与视觉层次感。

为模拟真实比赛里多样的光照情况，平台可在采集期间动态调整光照参数。利用脚本控制方向光的强度、色温以及朝向，可生成清晨、正午、黄昏等不同时段的光照环境；通过调整雾效（Fog）的密度和颜色，能模拟不同能见度条件下的赛场氛围。这些光照变化与域随机化策略结合，让生成的数据集在光照分布上覆盖更广，进而提升模型对真实场景中光照变化的适应能力。

能量机关运动模拟

能量机关的运动特性是本平台仿真的重点与难点所在，依据比赛规则来看，能量机关以恒定频率进行周期性旋转，在旋转期间还会随机切换扇叶的激活状态。在真实比赛当中，能量机关的旋转并不是匀速的，而是呈现出“加速-减速-反向”的周期性规律，这对视觉跟踪算法而言又增添了额外的挑战。

旋转控制模型

旋转控制的核心实现是在FanController.cs脚本里，这个脚本借助 ObjectRotator组件把计算出的角速度运用到扇叶的Transform矩阵上，以此来达成每帧更新的效果。

ObjectRotator类对旋转逻辑进行了封装，可支持自定义旋转轴、速度以及方向。其 Update方法会调用Unity的Transform.Rotate接口，依据世界坐标系或者局部坐标系来进行旋转。

灯光状态管理

能量机关的灯光状态依照比赛规则来确定：五个扇叶当中，随机有其中两个处于未激活的状态，而剩下的三个则处于激活的状态。扇叶灯光状态的切换是由Fan类来负责管理的，每个Fan实例都会维护一个灯光Transform字典以及一个当前状态枚举值，在进行状态切换的时候，首先会关闭所有灯光GameObject，然后再依据配置表去点亮对应位置的灯光。

需要着重留意的是，当灯光状态出现变化之际，会同步对关联的 CriticalPoints组件的标签值予以更新操作。此标签在功能上用于对“未激活”以及“已激活”这两类语义加以区分，并且在后续开展数据导出工作的时候，会被编码成为YOLO的类别标识符。

PowerRuneController充当能量机关的总控装置，负责管理红蓝双方的能量机关实例，并且能够响应用户的输入来执行旋转启停、电源开关以及模式切换等操作。它支持三种控制模式：仅仅控制红方、仅仅控制蓝方以及同时控制双方，借助位掩码运算达成灵活的状态管理。位掩码的设计情况是：红方控制位设定为0x01，蓝方控制位设定为0x10，双方同时控制则为0x11。这样的设计方便后续扩展更多的控制维度（比如自动/手动模式切换），只需新增掩码位即可，无需对控制逻辑进行重构。

数据采集与⾃动标注

数据采集模块是本平台的核心功能，负责在仿真运行过程中捕获图像并自动生成精确标注。该模块由CameraCapture类主导，协同CriticalPoints、CriticalPointsParser与 PhotoUtil等辅助类完成工作。

图像捕获机制

图像捕获是依托于Unity的RenderTexture技术来达成的，RenderTexture属于一种特殊的纹理类型，它能够把相机渲染后的结果直接输出到GPU纹理当中，而不是输出到屏幕帧缓冲。其具体的工作流程是这样的：先创建一个和目标分辨率相匹配的临时RenderTexture，接着把它绑定到相机的targetTexture属性上，然后调用Camera.Render去执行手动渲染操作；之后激活这个渲染纹理，凭借 Texture2D.ReadPixels将像素数据读取到CPU内存里面；最终再把数据编码成PNG或者JPG格式，并且写入磁盘。算法3.2展示了基于RenderTexture进行图像捕获的算法。

图像分辨率、格式以及背景类型都可以在Inspector面板里进行配置，在启用纯色背景模式的情况下，相机清除标志会被设定为SolidColor，采用指定的背景色来替代天空盒渲染，此模式适用于需要纯净背景的数据集构建场景。

关键点坐标计算

关键点的坐标计算在自动标注这一环节中是极为重要的，场景里每一个待检测的目标都会挂载一个Cri+calPoints组件。这个组件在Awake阶段会把所有子节点Transform收集起来当作关键点，并且存储目标的颜色信息、颜色类别、标签类型与检测框参数。

坐标计算的整个过程可划分为两个步骤，其中第一步便是由CriticalPointsParser来遍历所有的目标，并且在此过程中收集原始的关键点数据。

RawPointData结构封装了关键点的世界坐标与朝向向量。

第二步是执行可见性判定以及坐标变换的操作，针对每一个关键点，先计算它相对于相机的朝向和相机视线方向的点积，要是点积呈现负值的情况，那就意味着这个关键点朝向是背离相机的，处于不可见的状态，需要将其剔除掉。

对于经过可见性筛选的关键点，借助Unity的Camera.WorldToV-iewportPoint方法把其世界坐标转化为视口坐标。视口坐标的原点是屏幕左下角，范围为[0,1]×[0,1]。接着开展视锥范围校验工作，保证关键点处于相机视野之内。

需要留意的是，Unity的屏幕坐标系是把左下角当作原点的，然而图像存储一般是以左上角作为原点的，在计算归一化Y坐标的时候，要执行1−y这样的翻转操作。

数据导出与验证图像生成

标注数据以文本文件形式导出，每行对应一个目标实例，格式遵循YOLO关键点检测规范。

<class_id> <x1> <y1> <x2> <y2>... <xn> <yn>

其中，class_id是类别标识符，它是通过将颜色编码和状态编码组合起来计算得出的，具体公式为： class = color×3 + tag。当color等于0的时候，表示的是蓝方，而当color等于1的时候，则表示红方； tag等于1说明处于未激活状态，tag等于2则说明处于已激活状态。

除了标注数据之外，系统还会一并导出详尽的日志文件，该日志文件会记录下每张照片的拍摄时间、分辨率情况、可见目标的数量以及各关键点的像素坐标、归一化坐标还有视口坐标等信息，如此一来方便后续对数据质量展开审查，并且能够精准地定位问题所在。

为了直观地校验标注的精度，系统集成了验证图像生成功能。PhotoUtil类把导出的归一化坐标以红色圆点的形式绘制在白色背景之上，生成与原始图像尺寸一致的验证图。通过将原始图像与验证图进行叠加对比，能够快速发现坐标偏移或者类别错误等各类问题。

验证图像的生成是采用像素级操作的方式，具体来说，先是创建一个和原始图像尺寸一样的白色纹理，然后遍历所有归一化坐标点，在把它们转换为像素坐标之后，按照给定的半径绘制带有抗锯齿效果的圆点。在进行抗锯齿处理时，会计算像素到圆心的距离，并且运用线性插值方法将前景色和背景色混合起来，让圆点的边缘变得平滑自然。

图像和原始图像、标注文件是一一对应的，其命名规则统一设定为<prefix>_plot_yyyyMMdd_HHmmss.png，这样可方便后续开展批量审查以及问题追溯。