鱼眼相机

鱼眼相机输出

1. 功能概述

1.1 支持的功能操作

传感器输出

• 提供 180°~270° 视场角的广角图像输出，捕捉周围大范围环境。
• 支持将全景图像以球面投影方式映射为平面图像。
• 适配 CubeMap 格式输出，可实现 360° 环境映射图像。

应用场景

• **无人机监控与侦察**：

  • 捕获大范围区域的实时影像，用于快速侦查和环境监控。

  **自动驾驶感知系统**：

  • 提供大范围视角的车辆环境感知，支持盲区检测与避障。

  **虚拟现实与全景建模**：

  • 用于全景视频拍摄和 VR 场景生成。

  **工业巡检**：

  • 覆盖设备周围的监控范围，识别可能存在的问题区域。

1.2 使用示例

配置文件添加传感器

以下是配置文件 Config.json 的示例代码，用于添加鱼眼相机：

{
    "VisionSensors":[
        {
            "SeqID":0,
            "TypeID":8,//鱼眼相机
            "TargetCopter":1,
            "TargetMountType":0,
            "DataWidth":640,
            "DataHeight":640,
            "DataCheckFreq":30,//鱼眼相机比较消耗性能，单个鱼眼相机运行时在开发电脑能稳定在30帧左右
            "SendProtocol":[0,127,0,0,1,9999,0,0],
            "CameraFOV":200,//视场角取180~270之间，单位度
            "SensorPosXYZ":[0,0,-0.3],
            "SensorAngEular":[0,0,0],
            "otherParams":[512,0,0,0,0,0,0,0]//otherParams[0]为CubeMap尺寸
        }
    ]
}

**参数说明**：

• DataWidth和 DataHeight：
  • 定义图像的分辨率，分辨率越高，输出的图像越清晰，但对系统性能需求越高。
• CameraFOV：
  • 视场角，单位为度，推荐设置为 180°~270° 之间。
• otherParams[0]：
  • 定义 CubeMap 的尺寸，决定全景球面投影的分辨率。通常建议该值小于 DataWidth 和 DataHeight。

Python 调用传感器接口 取图显示相关代码：

vis = VisionCaptureApi.VisionCaptureApi() # 创建一个视觉传感器实例
vis.jsonLoad() # 加载Config.json中的传感器配置文件
isSuss = vis.sendReqToUE4() # 向RflySim3D发送取图请求
vis.startImgCap() # 开启取图
vis.hasData[i] # 图片i数据是否更新
vis.Img[i] # 图片i数据
cv2.imshow('Img'+str(i),vis.Img[i]) # 显示图片i图像

例程链接

• 示例工程：8.RflySimVision\0.ApiExps\11.FishEyeDemo

1.3 现实中的鱼眼相机

• 硬件示例

  • **GoPro Max**：提供 360° 全景拍摄，适用于户外活动和运动场景。

    **Insta360 ONE R**：模块化设计，可切换鱼眼镜头模块，支持高分辨率全景视频录制。

    **FLIR Blackfly S Fisheye Camera**：工业级鱼眼相机，适用于机器人视觉和机器学习。

    **Ricoh Theta Z1**：全景拍摄相机，支持高质量 360° 照片和视频输出。

---

2. 传感器配置

2.1 传感器安装

参数名称	取值范围	含义
TargetMountType	0: 固定载具上（相对几何中心）；1: 固定载具上 （相对底部中心）；2: 固定地面上（监控）；3：相对地面坐标系的吊舱相机，固定飞机上，但相机姿态不随飞机变化（地面坐标系）；4：将传感器附加到另外一个传感器上	决定传感器的所属载体对象及安装方式。
TargetCopter	目标传感器ID（默认为0）或目标实体对象 ID (默认 1）	决定传感器安装方式后，选择目标测量对象ID。传感器固定在载具或地面上时，该值对应目标载具或其它实体对象的CopterID；传感器固定在其它传感器上时，该值对应目标传感器**SeqID**。
SensorPosXYZ	[x, y, z] (单位：米)	相对于传感器所属载体对象的安装位置。
EulerOrQuat	0: 欧拉角；1: 四元数	选择安装姿态的表示方式。
SensorAngEular	[roll, pitch, yaw] (弧度)	安装姿态，欧拉角方式表示。
SensorAngQuat	[q0, q1, q2, q3]	安装姿态，四元数方式表示。

2.2 网络通信配置

参数名称	取值范围	含义
SendProtocol	[mode, IP, port, …]	配置数据传输协议，支持共享内存和 UDP。
SendProtocol[0]	0: 共享内存；1: UDP 压缩传输	选择传输方式。
SendProtocol[5]	端口号	数据传输的目标端口号。

2.3 传感器技术规格

技术参数	配置值	说明
SeqID	0	每个传感器的唯一编号。
TypeID	8	传感器类型编号，8 表示鱼眼相机。
DataHeight	640	图像垂直分辨率，越高图像越清晰。
DataWidth	640	图像水平分辨率，越高图像越清晰。
DataCheckFreq	30 Hz	数据刷新频率，默认 30 Hz，性能消耗较大。
CameraFOV	200°	视场角范围，推荐 180°~270°。
otherParams[0]	512	CubeMap 的投影尺寸，影响全景投影的图像分辨率。