跳转至

第8章 多模感知与智能决策

视觉感知是机器通过传感器获取环境信息，利用计算机视觉技术对图像进行分析和理解的过程。包括目标检测、物体识别等任务，为系统提供了对环境的认知能力。避障决策是基于视觉感知获得的环境信息，通过环境建模、路径规划和智能决策算法，制定能够规避障碍物、避免碰撞并达到预定目标的行为策略。两者相互依存，视觉感知为避障决策提供环境数据，避障决策根据这些数据执行行为。它们在自动驾驶、机器人导航等领域扮演关键角色，促进了无人系统在复杂环境中的智能应用和发展。

8.1 背景与理论

多模感知与智能决策技术是智能无人系统实现高效协同、自主运行和安全保障的核心支柱，构建了"感知-认知-行动"的闭环机制。

alt text

8.1.1 多源信息融合与鲁棒感知

传统无人系统的定位与控制方案多依赖GNSS卫星定位等单一传感器。在林地、城市峡谷、海面或室内等高干扰环境中，融合视觉、激光雷达、IMU等多模态传感器数据成为必然选择，通过SLAM算法等技术构建鲁棒、连续且可动态更新的环境模型。

8.1.2 避障路径规划与智能决策

规划避障依赖于融合感知数据，结合深度学习、强化学习、行为树、图搜索及最优化算法等先进方法，系统能够自主评估障碍风险，动态调整速度与航向，并实时生成安全且高效的路径。

8.2 框架与接口

RflySim 工具链结合典型开发案例，详细介绍智能感知与决策任务中的支持能力，包括传感器接口、数据采集与处理流程、典型任务算法结构等。

alt text

8.2.1 虚拟环境下的图像采集

RflySim 提供高保真的虚拟传感器仿真环境，支持 RGB 视觉、深度图像、激光雷达、IMU 等多模态传感器数据的生成，为视觉感知算法提供逼真的测试数据来源。

8.2.2 目标检测与跟踪

平台支持目标检测与跟踪、路径规划与避障策略等典型视觉任务的算法验证，提供标准化的接口框架，帮助开发者快速实现从仿真验证到实机部署的高效迁移。

alt text

8.3 精彩案例展示

五机视觉共享 SLAM 半实物仿真：

仿真算法开发与验证：

8.4 课程配套视频

本章节公开课回放（第七期：多模感知与智能决策）：

8.5 本章实验案例

本章相关验证实验与引导案例存放在 [安装目录]\RflySimAPIs\8.RflySimVision 文件夹中。

8.5.1 接口学习实验

存放在 8.RflySimVision\0.ApiExps 文件夹中，涵盖平台基础接口导学及各工具通识入门。

实验 1：双目摄像机系统标定

📝 实验简介： 通过Python接口获取RflySim 3D图像，演示改变棋盘位置和姿态进行双目摄像机系统标定，学习视觉传感器配置和相机参数调整

实验 2：视觉取图接口实验

📝 实验简介： 通过Python接口VisionCaptureApi获取RflySim 3D图像，学习视觉传感器配置、相机参数设置、飞机控制及UE4控制，实现实时取图与飞控联动。

实验 3：NX与PX4联合硬件在环穿环仿真

📝 实验简介： 实现NX与Pixhawk6x联合硬件在环仿真，通过Python接口ReqCopterSim自动获取IP建立联机，结合ROS订阅图像数据并使用mavros控制飞机，利用OpenCV库实现飞机穿环功能，学习视觉传感器配置和MAVLink通信设置。

实验 4：视觉开发环境配置及预备知识

📝 实验简介： 配置RflySim视觉开发环境，包括虚拟机配置、ROS环境配置、NX与Pixhawk联合仿真、视觉盒子HIL仿真等预备实验

实验 5：MAVROS Python OFFBOARD控制实验

📝 实验简介： 通过MAVROS Python接口实现无人机OFFBOARD模式控制，学习自动获取仿真器IP、rospy节点编程、飞行器解锁和位置设定等功能

实验 6：RflySim视觉接口实验

📝 实验简介： 通过Python接口获取RflySim 3D图像并进行实时控制，学习视觉接口的使用方法，涵盖多目相机、深度图、点云等多种视觉数据的获取与处理

实验 7：RflySim视觉UDP直传PNG压缩实验

📝 实验简介： 实现通过UDP直传PNG压缩图像的方式进行分布式仿真，在远端Linux系统或另一台Windows电脑接收图像并回传飞控指令，学习SendProtocol传输模式配置。

实验 8：MAVROS C++ OFFBOARD控制

📝 实验简介： 通过MAVROS C++程序将飞行器切换到OFFBOARD模式并解锁，设定固定坐标点进行位置控制，学习ROS节点、话题发布和服务调用等关键技术

实验 9：视觉盒子硬件在环仿真（基于串口穿环）

📝 实验简介： 实现视觉盒子硬件在环仿真，通过Python接口ReqCopterSim自动获取IP，建立RflySim 3D与CopterSim联机仿真，结合ROS和Mavros控制飞机穿环，学习视觉传感器配置及SendProtocol图像传输模式。

实验 10：自动生成AI训练数据集

📝 实验简介： 通过Python接口VisionCaptureApi自动生成AI训练数据集，图像数据以VOC格式输出，点云数据以KITTI格式输出，用于目标检测与识别模型训练。

实验 11：Mavros C++ 控制接口实验

📝 实验简介： 通过C++程序调用mavros接口控制飞行器，实现mavlink与ros消息转换，演示分布式仿真中自动获取IP和多模式飞机控制的方法。

实验 12：多目相机取图实验

📝 实验简介： 通过Python接口获取RGB、灰度、深度三个相机图像，学习视觉传感器配置、相机参数实时调整及飞机控制，包含VisionCaptureApi接口使用和UE4控制

实验 13：PX4ApiTest控制展示

📝 实验简介： 展示通过Python接口PX4MavCtrlV4.py进行无人机控制，包括位置、速度、姿态和加速度控制指令的使用方法

实验 14：RflySim 3D物体位置获取

📝 实验简介： 通过Python接口获取RflySim 3D中动态创建物体的位置信息，学习getUE4Pos函数的使用方法，实现飞机位置数据的实时获取

实验 15：点云分割实验

📝 实验简介： 通过Python视觉接口获取分割图点云数据，实现点云的实时显示与处理，涉及视觉传感器配置、Open3D点云显示和无人机控制

实验 16：UDP直传点云数据入门实验

📝 实验简介： 学习通过Python接口VisionCaptureApi.py使用UDP直传方式接收RflySim3D发送的点云数据，并在可视化界面绘制点云图，掌握SendProtocol传输模式配置

实验 17：轻量级无人机质点模型控制实验

📝 实验简介： 通过Python的PX4MavCtrl接口实现基于质点的无人机控制，提供与软硬件在环仿真相近的动态效果，大幅降低电脑性能占用并提升飞行平稳性

实验 18：VMware使用入门

📝 实验简介： 掌握VMware虚拟机的基本操作，包括安装配置、网络模式选择（桥接/NAT模式）、基本设置和登录方法，能够成功启动虚拟机并完成网络配置。

实验 19：Mid360激光雷达仿真实验

📝 实验简介： 基于RflySim仿真Livox Mid360激光雷达，实现从传感器仿真到ROS可视化的完整数据链路，验证PX4 Offboard飞行控制

实验 20：时间戳获取实验

📝 实验简介： 通过Python接口获取时间戳数据，学习使用mav.StartTimeStmplisten和vis.StartTimeStmplisten接口监听飞机时间戳，包含校验位、飞机ID、仿真起始时间戳、当前时间戳、心跳计数等信息。

实验 21：RflySim鱼眼相机实验

📝 实验简介： 本实验展示如何在RflySim平台中使用鱼眼相机进行仿真视觉获取，学习配置视觉传感器、使用VisionCaptureApi获取图像，并通过MAVLink控制无人机。

实验 22：仿真吊舱UI控制系统

📝 实验简介： 通过RflySim仿真平台实现完整的仿真吊舱UI控制系统，掌握吊舱俯仰角、偏航角、变焦、变倍等参数的控制方法，理解视觉传感器与仿真环境的交互机制，学习AI目标识别与追踪功能的实现原理。

实验 23：分布式视觉控制实验

📝 实验简介： 通过UDP协议直传图像数据（PNG/JPG压缩与不压缩）到远端Linux系统或Windows电脑，接收图像并回传飞机控制指令，实现分布式视觉控制与多仿真测试。

实验 24：RflySim视觉API之UDP直传不压缩实验

📝 实验简介： 实现了通过UDP直传png不压缩图像数据，在远端Linux系统或另一台Windows电脑上接收图像并回传飞机控制指令的分布式联机仿真，重点掌握SendProtocol配置为2的UDP不压缩传图模式。

实验 25：相机标定实验

📝 实验简介： 通过Python接口VisionCaptureApi获取RflySim 3D图像，实时更新相机参数并采集标定图像，最后利用MATLAB进行相机内参标定，学习相机成像几何模型标定方法

实验 26：Ubuntu虚拟机ROS环境配置

📝 实验简介： 掌握Ubuntu虚拟机配置方法，学习ROS 1/2安装与MAVROS配置，熟悉PCL、OpenCV等常用库的安装，理解桥接模式与NAT模式网络配置的应用场景

实验 27：Imu和相机数据获取实验

📝 实验简介： 本实验通过Python接口获取Imu和相机数据，学习VisionCaptureApi接口的使用，包括配置视觉传感器、获取图像、实时修改相机参数及控制飞机飞行。

实验 28：激光雷达点云API显示实验

📝 实验简介： 通过Python接口获取激光雷达点云数据并实时显示，学习使用VisionCaptureApi视觉接口和Open3DShow点云显示功能，掌握平台取图及共享内存方式的点云可视化技术。

实验 29：Python Mavsdk控制实验

📝 实验简介： 展示使用Python mavsdk库进行飞机控制，通过ReqCopterSim自动获取IP地址，实现分布式联机仿真，学习MAVLink通信和离板模式控制。

实验 30：无CopterSim取图实验

📝 实验简介： 通过Python接口VisionCaptureApi，在不启动CopterSim的情况下获取RflySim 3D图像数据，并实时更新相机参数（姿态、位置、FOV等），重点学习视觉传感器API的使用方法和相机配置。

实验 31：ROS订阅图像数据实验

📝 实验简介： 通过ROS订阅获取RflySim的图像数据，学习分布式仿真联机配置、ReqCopterSim自动IP获取、视觉传感器配置及rospy图像话题订阅，实现跨平台图像数据传输与处理。

实验 32：视觉盒子网口穿环HIL仿真

📝 实验简介： 实现基于网口方式的视觉盒子硬件在环仿真，通过Python接口自动获取IP，建立RflySim3D与CopterSim联机，使用ROS和mavros控制飞机完成穿环任务

实验 33：UDP激光雷达点云数据传输实验

📝 实验简介： 通过Python接口VisionCaptureApi和PX4MavCtrler向RflySim发送取图请求，使用UDP直传模式接收点云数据并在虚拟机中动态绘制点云图。关键掌握SendProtocol传输模式配置和ReqCopterSim自动IP获取方法。

实验 34：RflySim视觉AI接口实验

📝 实验简介： 包含6个子实验的视觉AI接口实验组，涉及双目标定、相机标定、AI训练数据集生成、YOLO数据集生成、UE4相机模型推导及三维位置获取等功能，通过Python接口VisionCaptureApi实现RflySim 3D图像的实时采集与处理。

实验 35：视觉传感器UDP直传JPG压缩实验

📝 实验简介： 实现通过UDP协议直传JPEG压缩图像的分布式仿真，在远端Linux系统（WinWSL、虚拟机、机载板卡、智能视觉盒子）或另一台Windows电脑中接收图像并回传飞机控制指令

实验 36：UE4相机理想模型推导实验

📝 实验简介： 通过Python接口获取RflySim 3D图像，利用目标检测算法推导UE4相机理想模型，计算焦距和内外参矩阵，并验证不同视场角下的相机参数准确性。

实验 37：视觉盒子硬件在环仿真-修改sysID穿环

📝 实验简介： 通过Python接口ReqCopterSim.py自动获取IP，建立RflySim 3D与CopterSim联机仿真，利用ROS订阅图像数据并通过mavros控制飞机，实现修改sys_id进行硬件在环穿环实验。

实验 38：深度图获取实验

📝 实验简介： 通过Python接口设置相机参数并获取深度图数据，学习VisionCaptureApi视觉接口使用、深度相机配置（TypeID=2）、实时修改相机姿态位置以及深度图读取方法

实验 39：Livox激光雷达点云显示

📝 实验简介： 通过Python接口实现大疆Livox激光雷达扫描，获取点云数据并使用Open3D进行实时显示

实验 40：Python Mavros 控制实验

📝 实验简介： 展示通过Python mavros接口自动获取仿真电脑IP并控制飞机的方法，学习ReqCopterSim接口和rospy话题订阅发布与服务调用的使用，实现分布式仿真中的飞机控制。

实验 41：视觉硬件在环套件使用入门

📝 实验简介： 本实验介绍视觉硬件在环套件的基本使用方法，涵盖NVIDIA Jetson NX与PX4飞控的硬件配置与连接设置。

实验 42：UDP直传点云数据传输实验

📝 实验简介： 通过Python接口VisionCaptureApi.py发送取图请求，使用UDP直传模式接收处理世界坐标系点云数据，并在虚拟机中动态显示点云图

实验 43：MAVROS视觉控制穿环实验

📝 实验简介： 通过Python接口自动获取IP地址，建立RflySim 3D与CopterSim联机仿真，结合ROS订阅图像数据并使用MAVROS控制飞机，实现基于OpenCV的无人机穿环功能。

实验 44：UE4直连UDP JPEG压缩分布式仿真

📝 实验简介： 通过Python接口ReqCopterSim自动获取IP，建立RflySim3D与CopterSim的联机仿真，实现UDP直传JPEG压缩图像的多窗口分布式视觉传输，包含3个视觉传感器的配置与控制。

实验 45：分布式UDP压缩传图实验（自动获取IP）

📝 实验简介： 本实验通过UDP压缩传图模式，实现从Windows到Linux/WinWSL的分布式图像传输与控制指令回传，学习使用ReqCopterSim自动获取IP地址进行联机仿真。

实验 46：深度图转点云实验

📝 实验简介： 通过Python视觉接口获取深度图数据，转换为点云图像并实时显示。学习视觉传感器配置、点云显示和飞控控制接口的使用。

实验 47：GetCamObjDemo相机物体信息获取

📝 实验简介： 通过Python接口获取飞机、物体和相机的信息，学习使用UE4CtrlAPI.py和PX4MavCtrl.py控制飞行器并获取视觉传感器数据

实验 48：获取物体精确三维位置

📝 实验简介： 通过Python接口调用sendUE4Pos函数生成飞机与小球，获取相机、物体、靶标中心的三维坐标，并计算物体间的相对位置关系

实验 49：Python Mavros 无人机控制

📝 实验简介： 展示通过Python mavros接口实现无人机offboard模式控制，学习ReqCopterSim自动获取IP及rospy节点订阅发布的使用方法

实验 50：多视觉盒子联合穿环仿真

📝 实验简介： 使用两台NX视觉盒子实现联合硬件在环仿真，通过Python接口自动获取IP，结合ROS和mavros控制飞机完成穿环任务的视觉导航实验

实验 51：点云数据可视化实验

📝 实验简介： 通过Python接口ReqCopterSim自动获取IP，使用UDP传输点云数据，利用Open3DShow接口进行点云可视化展示

实验 52：UDP直传png压缩传图实验

📝 实验简介： 通过配置SendProtocol实现UDP压缩传图模式，学习使用ReqCopterSim自动获取IP，在WSL或虚拟机等远端系统接收图像并回传飞控指令的分布式联机仿真方法。

实验 53：VisionCapAPI IMU数据获取

📝 实验简介： 通过Python接口VisionCaptureApi.py获取CopterSim中的IMU数据，学习使用视觉接口发送IMU数据请求并读取数据的配置方法

实验 54：RflySim视觉YOLO数据集自动生成

📝 实验简介： 通过Python接口VisionCaptureApi获取RflySim 3D图像和相机参数，自动生成YOLO格式数据集，并使用maketxt.py划分训练集和测试集

实验 55：分布式UDP压缩传图（手动设置IP）

📝 实验简介： 通过UDP协议传输PNG压缩图像到远端Linux系统或另一台Windows电脑，并回传飞机控制指令，实验需手动设置IP地址而非自动获取。

实验 56：相机分割图像获取实验

📝 实验简介： 通过Python接口VisionCaptureApi获取RflySim 3D的RGB图像和分割图像，学习视觉传感器配置、相机参数调整及飞机控制

实验 57：Linux图像接收与ROS发布

📝 实验简介： 利用Python接口在Linux远端系统请求RflySim 3D发送传感器数据，接收图像和点云并转发到ROS空间，使用Rviz进行可视化观测的分布式仿真实验。

实验 58：视觉接口UDP传输延迟测试

📝 实验简介： 通过Python视觉接口VisionCaptureApi获取IMU与图像时间戳，计算UDP网络传输模式的极限取图延迟，验证200Hz取图频率下的延迟性能。

实验 59：ROS系统tf树配置修改实验

📝 实验简介： 通过Config.json配置文件和Python接口自定义更改ROS系统tf树的frame_id，实现传感器数据话题的TF坐标系配置与修改，掌握分布式仿真中的tf树构建方法

实验 60：Pytorch环境一键安装

📝 实验简介： 学习使用一键脚本快速配置Pytorch深度学习环境，包含CUDA和cuDNN等依赖的自动安装

实验 61：测距传感器实验

📝 实验简介： 通过Python接口创建激光测距传感器并实时获取测距数据，学习视觉传感器配置、距离数据读取和图像显示，包含视觉接口使用、传感器参数配置、飞机控制指令等关键知识点。

实验 62：三个位置跟踪控制器仿真

📝 实验简介： 通过Python接口PX4MavCtrlV4.py实现视觉控制时同时控制飞机飞往指定位置和前飞速度，学习三种位置跟踪控制器（PosCtrl、VelCtrlBody、VelCtrlEarth）的使用方法。注意本实验只支持Windows下Python环境运行。

实验 63：AirSim接口实验

📝 实验简介： 通过Python接口使用AirSim API控制无人机，实现位置和姿态控制

实验 64：红外灰度热力图图像获取

📝 实验简介： 通过Python接口VisionCaptureApi获取RflySim 3D中的红外灰度图和热力图相机图像，掌握视觉传感器配置与取图方法

实验 65：Livox激光雷达UDP直传点云实验

📝 实验简介： 通过Python接口向RflySim 3D发送取图请求，获取大疆Livox激光雷达10Hz频率点云数据，使用Open 3D实时显示点云图，实现分布式联机仿真

实验 66：Ceres及Opencv安装

📝 实验简介： 讲解如何在Ubuntu系统下通过脚本快速安装Ceres优化库和Opencv视觉库，包含安装配置文件和一键运行脚本，帮助用户快速配置视觉算法开发环境。

实验 67：Anaconda使用入门

📝 实验简介： 学习使用Anaconda进行Python环境管理，包括环境创建、激活、包的安装和管理等基础操作。

实验 68：点云数据传输实验

📝 实验简介： 学习通过共享内存和UDP两种方式接收RflySim 3D点云数据，掌握激光雷达和世界坐标系点云的传输方法与处理流程。

实验 69：UDP直传相机云台数据仿真

📝 实验简介： 在Ubuntu下运行服务端，通过UDP直传方式传输图像数据，对回传图像进行处理，订阅截图发射器视角窗口消息和控制云台消息，发布相机以及云台数据话题

实验 70：串口硬件在环仿真

📝 实验简介： 通过PX4MavCtrl实现两路串口通信的硬件在环仿真，学习配置串口参数、波特率及与飞控的通信连接，完成控制命令发送和飞行验证。

实验 71：OpenCV 4.10 Ubuntu22.04源码编译

📝 实验简介： 在Ubuntu 22.04环境下离线编译OpenCV 4.10源码，配置CUDA/GPU加速参数，通过自动化脚本或手动命令完成编译安装，并验证C++和Python版本的CUDA功能

8.5.2 基础使用实验

存放在 8.RflySimVision\1.BasicExps 文件夹中，面向初学者提供全套配套补充教材库。

实验 1：质点模型视觉穿环实验

📝 实验简介： 基于质点模型的轻量级无人机穿环实验，通过Python接口VisionCaptureApi.py获取RflySim 3D图像，识别环位置并控制无人机完成穿环，学习视觉传感器配置和质点模型控制方法。

实验 2：无人机视觉跟踪小球实验

📝 实验简介： 通过RflySim视觉接口获取图像，使用OpenCV检测红色小球并计算质心，通过PX4MavCtrl发送速度指令控制无人机飞向小球，完成视觉跟踪任务。

实验 3：无人机圆形目标跟随实验

📝 实验简介： 通过计算机视觉技术控制无人机跟随移动的红色圆形目标，学习图像处理算法识别、视觉伺服控制及PID控制在无人机跟随中的应用，实现实时目标跟踪。

实验 4：双目光学人脸识别实验

📝 实验简介： 通过Python视觉接口配置双目光学相机，获取RflySim3D图像并利用cv2级联分类器进行实时人脸检测与框选，实现双目视觉下的人脸识别功能。

实验 5：屏幕截图撞击小球实验

📝 实验简介： 通过屏幕截图接口获取RflySim 3D窗口图像，使用视觉算法检测小球位置并控制无人机撞击小球，学习窗口句柄操作、图像采集和Offboard模式速度控制的关键技术。

实验 6：基础视觉控制实验

📝 实验简介： 涵盖轻量级无人机视觉穿环、吊舱控制、目标跟踪、分布式协同及人脸识别等视觉控制算法的学习与实践

实验 7：RflySim基础视觉比赛接口实验

📝 实验简介： 验证平台中相机、深度相机、激光雷达等感知链路的端到端数据流，实现从传感器数据采集->ROS发布->SLAM里程计->飞控融合的完整闭环，学习MAVROS控制接口调用和ENU/NED坐标系映射。

实验 8：无人机视觉穿环实验

📝 实验简介： 通过屏幕截图API获取UE4渲染图像，使用CV库识别圆环位置，计算无人机速度控制命令，实现飞机起飞后依次穿过三个环并自动降落的视觉控制实验

实验 9：RflySim平台基础功能demo

📝 实验简介： 学习使用RGB相机、深度相机、灰度相机和激光雷达进行视觉/激光雷达定位与避障的仿真配置与数据读取

实验 10：无人机识别与路径规划比赛

📝 实验简介： 通过ROS 1实现无人机起飞、YOLO识别方框、ArUco检测移动小车、路径规划穿越障碍并精准降落的综合性比赛实验，学习视觉导航与目标识别技术。

实验 11：LLM无人机控制

📝 实验简介： 基于大语言模型（LLM）的无人机控制实验，通过自然语言指令实现无人机起飞、穿越框、识别二维码等任务，学习LLM与无人机控制系统的集成开发。

实验 12：LLM无人机控制与激光SLAM

📝 实验简介： 使用大语言模型通过自然语言指令控制无人机，结合Mid-360激光SLAM进行自主定位，完成起飞、穿越框、识别二维码等任务的实验，学习LLM在无人机视觉导航中的应用。

实验 13：RflySim空地协同赛道仿真

📝 实验简介： 本实验教学RflySim仿真环境在空地协同赛道中的部署与运行，包括无人机和无人车的传感器配置、SLAM定位及运动控制算法开发

实验 14：无人机跟随圆形案板移动

📝 实验简介： 通过Python视觉接口VisionCaptureApi获取RflySim 3D图像，检测圆形案板位置，使用键盘控制案板移动方向，实现无人机跟随圆形案板的视觉控制实验，学习视觉接口使用、飞机控制指令和UE控制。

实验 15：键盘控制吊舱视觉

📝 实验简介： 通过上下左右方向键控制吊舱的俯仰角和偏航角，右Ctrl+方向键控制横滚角，alt+上下控制焦距，学习键盘交互和共享内存传输图像数据的方法

实验 16：三无人机分布式控制

📝 实验简介： 本实验旨在完成三无人机的分布式控制，通过运行相应脚本实现三架无人机依次起飞并视觉穿环，学习无人机分布式控制与视觉控制的基本操作。

实验 17：三无人机分布式穿环控制实验

📝 实验简介： 基于屏幕截图API实现三架无人机分布式视觉穿环，学习ScreenCapAPI、PX4MavCtrl接口及无人机视觉控制方法。

实验 18：双无人机分布式控制

📝 实验简介： 实现双无人机的分布式控制与视觉穿环，学习在RflySim工具链中进行多无人机软件/硬件在环仿真的步骤

实验 19：双无人机分布式控制实验

📝 实验简介： 本实验通过两个Python运行文件，采用屏幕截图方式获取图像，处理后得到无人机速度控制命令，实现两架无人机分布式穿环，学习屏幕截图API及无人机视觉控制。

8.5.3 进阶开发实验

存放在 8.RflySimVision\2.AdvExps 文件夹中，进一步熟悉部分底层固件生态配置。

实验 1：Ubuntu吊舱视觉键盘控制

📝 实验简介： 在Ubuntu虚拟机环境下，通过UDP直传方式接收图像数据，使用方向键控制吊舱的俯仰、偏航和横滚角度，Alt键控制视场角，实现视觉传感器的实时控制。

实验 2：Windows吊舱视觉键盘控制

📝 实验简介： 通过键盘上下左右键及组合键控制吊舱视觉的俯仰角、偏航角、横滚角和焦距，学习RflySim传感器配置和键盘交互控制方法

实验 3：Rviz吊舱视觉控制键盘仿真实验

📝 实验简介： 学习使用ROS和Rviz进行吊舱视觉控制，通过键盘（上/下/左/右/Ctrl+左右/Alt+上下）控制吊舱相机的俯仰角、偏航角、横滚角和焦距，实现吊舱视觉控制仿真

实验 4：RflySim平台视觉SLAM实验

📝 实验简介： 通过Python接口ReqCopterSim自动获取IP，实现RflySim 3D与CopterSim的分布式联机仿真，利用视觉传感器进行SLAM控制，通过遍历目标点坐标进行偏角和速度的实时路径规划控制。

实验 5：激光雷达SLAM实验

📝 实验简介： 通过Python接口ReqCopterSim实现无人机与RflySim 3D、CopterSim的SLAM联机仿真，完成单线束激光雷达实时建图与定位，实现无人机自动避障移动。

实验 6：YOLO目标检测气球撞击实验

📝 实验简介： 通过RflySim平台接口获取图像，使用YOLO算法检测气球位置并控制无人机自主撞击气球的视觉导航实验

实验 7：RflySim单目标跟踪实验

📝 实验简介： 通过视觉接口获取RflySim 3D图像，使用OpenCV目标跟踪算法控制无人机跟踪另一架无人机，学习视觉接口、相机配置和无人机控制

实验 8：视觉伺服目标跟随实验

📝 实验简介： 通过Python接口VisionCaptureApi.py获取RflySim 3D图像，利用平台直接输出的目标检测/跟踪结果，采用视觉伺服算法实现无人机对高机动目标的实时跟随控制，学习视觉伺服控制原理和无人机目标跟踪技术。

实验 9：A*算法路径规划实验

📝 实验简介： 使用A*算法进行路径规划，将传统四邻域搜索改为8邻域搜索，提高路径规划效率和灵活性。

实验 10：KCF穿环伴飞实验

📝 实验简介： 通过无人机执行穿越环门和伴随地面小车任务，考察KCF目标识别与跟踪算法、EGO-Planner路径规划算法与RflySim工具链集成的效果。

实验 11：EGO-Swarm视觉集群规划

📝 实验简介： 通过三架无人机在森林场景中执行穿越任务，验证EGO-Swarm路径规划算法与RflySim工具链集成效果，学习视觉集群感知与自主避障技术

实验 12：无人机激光雷达实时三维点云建图

📝 实验简介： 利用RflySim仿真平台的LiDAR与里程计数据，在ROS环境下实现点云坐标转换与拼接，通过TF变换树和齐次变换矩阵构建三维实体地图。

实验 13：双无人机TF树构建

📝 实验简介： 学习ROS中TF（Transform）树构建方法，通过RflySim仿真平台构建双无人机系统的坐标变换关系，掌握多机器人系统中坐标系的隔离与管理。

实验 14：ESDF与Voronoi图无人机路径规划

📝 实验简介： 通过处理二维栅格地图构建ESDF场和Voronoi拓扑骨架，基于梯度优化算法进行路径规划，将轨迹映射到RflySim平台实现无人机闭环避障运动。

实验 15：YOLO检测气球撞击控制

📝 实验简介： 通过RflySim平台接口获取图像，利用YOLO算法检测气球位置，并控制无人机自动追踪撞击气球的实验

实验 16：简易YOLO传感器10机仿真

📝 实验简介： 通过简易YOLO传感器识别10架无人机，学习视觉传感器配置方法及YOLO目标检测在无人机大规模仿真训练中的应用

实验 17：AStar路径规划实验

📝 实验简介： 学习使用A*算法在激光雷达地图上进行8邻域路径规划，掌握通过cv2库处理图像、划分可行区域，并实现图像坐标系到NED坐标系的转换方法。

实验 18：RflySim激光SLAM演示

📝 实验简介： 介绍使用Python Vision API获取图像和IMU数据，分析取图延迟的实验，涵盖UE4帧率配置、DataCheckFreq频率设置及延迟优化方法

实验 19：RflySim平台SLAM视觉与IMU数据采集与分析

📝 实验简介： 学习在RflySim平台上运行视觉SLAM仿真，配置UE4帧率、图像采集频率，采集图像与IMU数据并分析时间戳，评估取图延迟性能。

实验 20：激光SLAM视觉取图与IMU数据采集实验

📝 实验简介： 学习运行RflySim激光SLAM视觉取图演示，修改配置调整UE帧率与取图频率，分析图像与IMU时间戳，评估取图延迟以用于无人机控制。

实验 21：简易YOLO传感器

📝 实验简介： 通过YOLO算法识别无人机，掌握视觉传感器配置方法，实现大规模仿真训练中的目标检测

实验 22：无人机激光雷达实时三维点云建图

📝 实验简介： 利用RflySim平台的LiDAR与里程计数据，在ROS环境下通过TF变换和齐次变换矩阵，将局部点云映射到世界坐标系，构建3D实体地图

实验 23：Astar算法路径规划ROS实验

📝 实验简介： 使用ROS实现A*算法路径规划，从公司真机程序迁移到RflySim仿真平台适配，包含激光雷达点云数据处理和MAVROS控制

实验 24：无人机激光雷达三维点云建图

📝 实验简介： 利用RflySim仿真平台的LiDAR和里程计数据，在ROS环境下实现点云坐标系转换与拼接，构建TF变换树将局部点云映射到世界坐标系，在Rviz中实时生成连贯的3D实体地图，掌握多传感器融合和坐标变换技术

实验 25：YOLOv5目标检测REST API服务

📝 实验简介： 使用Flask框架构建REST API以暴露YOLOv5目标检测模型，使其他服务能够通过HTTP请求调用PyTorch Hub的YOLOv5s模型进行图像目标检测推理

实验 26：YOLOv5集成W&B可视化训练工具

📝 实验简介： 介绍如何在YOLOv5中集成Weights&Biases(W&B)机器学习实验跟踪工具，实现训练过程可视化、指标监控、数据集版本管理和实验对比功能

8.5.4 高阶开发实验

存放在 8.RflySimVision\3.CustExps 文件夹中，面向高阶用户的自定义开发实验。

实验 1：VINS-Fusion视觉SLAM建图实验

📝 实验简介： 在Linux环境中配置运行VINS-Fusion视觉SLAM算法，通过RflySim仿真平台发回的视觉和IMU数据进行自主定位与建图

实验 2：ORB-SLAM3与RflySim集成验证

📝 实验简介： 学习将ORB-SLAM3通过ROS节点与RflySim数据流（图像与IMU）集成，构建运行ORB-SLAM3 ROS节点并采集轨迹与位姿

实验 3：行为树控制无人机

📝 实验简介： 使用行为树实现无人机起飞、指点飞行和降落功能；自定义悬停节点使无人机在目标点稳定悬停10秒

实验 4：双无人机协同侦察打击

📝 实验简介： 模拟双无人机协同作战场景，2号无人机侦察寻找红色气球并将目标信息发送给1号无人机，1号无人机根据信息起飞打击目标，验证双无人机系统的信息传递、目标识别与精准打击能力

实验 5：LLM行为树无人机控制

📝 实验简介： 通过Ollama加载Qwen3-0.6b模型，将自然语言指令解析为行为树和ROS控制指令，实现无人机语义到动作的决策控制，使用PX4 SITL执行机动任务

实验 6：声音视觉传感器融合实验

📝 实验简介： 通过ITD双耳时差原理实现声源定位，与视觉检测融合进行目标识别和跟踪，掌握多传感器融合的无人机控制方法

实验 7：空地协同赛道SITL仿真

📝 实验简介： 针对第二十八届中国机器人及人工智能大赛空地协同赛道的软件在环仿真平台，包含无人机和无人车的完整比赛流程仿真（无人机：起飞→检测方框→穿越→检测二维码→刺破气球；无人车：检测门洞→穿越→绕场→返回），用于算法验证和比赛训练。