深度图像

1. 功能概述

1.1 支持的功能操作

传感器输出

深度相机主要输出深度图像数据，图像数据以 uint16 格式存储，数据范围为 0~65535。深度数据默认单位为毫米（可通过配置文件修改）。

应用场景

无人机导航
障碍物检测
三维建模
自动驾驶环境感知

1.2 使用示例

配置文件添加传感器 **深度相机的**json文件配置方法与**RGB**与**灰度**相机的配置方法基本相同。

{
    "VisionSensors":[
        {
            "SeqID":0, //自动确认序号，这里会自动识别为1
            "TypeID":2,//深度图
            "TargetCopter":1,
            "TargetMountType":0,
            "DataWidth":640,
            "DataHeight":480,
            "DataCheckFreq":30,
            "EularOrQuat":0,
            "SendProtocol":[3,0,0,0,0,0,0,0], 
            "CameraFOV":90,
            "SensorPosXYZ":[0.3,0,0],
            "SensorAngQuat":[0,0,0,0],
            "SensorAngEular":[0,0,0],
            "otherParams":[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
        }
    ]
}

深度相机输出的数据是以 uint16 格式存储和传输的，数据范围是 0~65535。默认情况下，一个单位表示 1mm（由 otherParams[2] 控制），也就是说最大范围是 0~65.535米。

**otherParams[0]**：深度相机的最小识别距离（单位米），如果深度距离小于本值，那么输出 NaN，对应深度值为 65535。
**otherParams[1]**：深度相机的最大识别距离（单位米），如果深度距离大于本值，那么输出 NaN，对应深度值为 65535。
**otherParams[2]**：深度相机 uint16 输出值的刻度单位（单位米），决定深度相机的步长，默认情况下深度值以毫米为单位，因此需要填 0.001。注：默认值填 0 时，会被替换为 0.001。

Python 调用传感器接口 取图显示相关代码：

vis = VisionCaptureApi.VisionCaptureApi() # 创建一个视觉传感器实例
vis.jsonLoad() # 加载Config.json中的传感器配置文件
isSuss = vis.sendReqToUE4() # 向RflySim3D发送取图请求
vis.startImgCap() # 开启取图
vis.hasData[i] # 图片i数据是否更新
vis.Img[i] # 图片i数据
cv2.imshow('Img'+str(i),vis.Img[i]) # 显示图片i图像

实时更新相机参数（位置、焦距、角度、装载飞机和形式）：

vs = vis.VisSensor[0] #获取第0号相机基本参数
# 修改其中的可变部分，只修改需要改变的部分即可
vs.TargetCopter=1  #修改视角绑定的飞机ID
vs.TargetMountType=0  # 修改视角绑定类型，固连飞机还是地面
vs.CameraFOV=90   # 修改视角的视场角（焦距），可以模拟对焦相机
vs.SensorPosXYZ=[0.3,-0.15,0]  # 修改相机的位置，可以调整相机初始位置
vs.SensorAngEular=[0,0,0]  # 修改相机的姿态，可以模拟云台转动
vis.sendUpdateUEImage(vs) # 发送更新数据

例程链接

示例工程：8.RflySimVision\0.ApiExps\1-UsageAPI\1.ImgSenorAPI\3.DepthCameraDemo

1.3 现实中的深度传感器

硬件示例
- Beginner's guide to depth (Updated) – Intel® RealSense™ Depth and Tracking Cameras

2. 传感器配置

2.1 传感器安装

参数名称	取值范围	含义
TargetMountType	0: 固定载具上（相对几何中心）；1: 固定载具上（相对底部中心）；2: 固定地面上（监控）；3：相对地面坐标系的吊舱相机，固定飞机上，但相机姿态不随飞机变化（地面坐标系）；4：将传感器附加到另外一个传感器上	决定传感器的所属载体对象及安装方式。
TargetCopter	目标传感器ID（默认为0）或目标实体对象 ID (默认 1）	决定传感器安装方式后，选择目标测量对象ID。传感器固定在载具或地面上时，该值对应目标载具或其它实体对象的CopterID；传感器固定在其它传感器上时，该值对应目标传感器SeqID。
SensorPosXYZ	[x, y, z] (单位：米)	相对于传感器所属载体对象的安装位置。
EulerOrQuat	0: 欧拉角；1: 四元数	选择安装姿态的表示方式。
SensorAngEular	[roll, pitch, yaw] (弧度)	安装姿态，欧拉角方式表示。
SensorAngQuat	[q0, q1, q2, q3]	安装姿态，四元数方式表示。

2.2 网络通信配置

参数名称	取值范围	含义
SendProtocol	[mode, IP, port, …]	配置数据传输协议，支持共享内存和 UDP。
SendProtocol[0]	0: 共享内存；1: UDP 压缩传输	选择传输方式。
SendProtocol[5]	端口号	数据传输的目标端口号。

2.3 传感器技术规格

技术参数	配置值	说明
SeqID	0	每个传感器在 RflySim3D 内的唯一编号。若设为0，将自动确认序号并递增排序
TypeID	7	传感器类型，深度转点云传感器。
DataHeight	480
DataWidth	640
DataCheckFreq	30	数据刷新频率，默认 30Hz，最大支持取决于RflySim3D刷新率。
CameraFOV	90°	测量视场角（默认为90），单位：度。FOV 越大，点云覆盖的范围越广，但点间的间距也可能变大（即空间分辨率降低）。
otherParams[0]	0.3	深度相机的最小识别距离（单位米），如果设置为0，则不限制最小范围。
otherParams[1]	12	深度相机的最大识别距离（单位米），默认值取0则不限制最远距离，但是深度相机会受到uint16数据上限（65536）限制，因此等效于otherParams[1]=65.535米，若取厘米刻度则为655.35米。如果深度距离大于本值，那么输出NaN对应65535。
otherParams[2]	0.001	深度相机uint16输出值的刻度单位（单位米），决定深度相机的检测精度，越小深度图像素越高，默认情况下深度值以毫米为单位，因此需要填0.001。注，默认值填0的话，会被替换为otherParams[2]=0.001；