跳转至

第8章 多模感知与智能决策

视觉感知是机器通过传感器获取环境信息，利用计算机视觉技术对图像进行分析和理解的过程。包括目标检测、物体识别等任务，为系统提供了对环境的认知能力。避障决策是基于视觉感知获得的环境信息，通过环境建模、路径规划和智能决策算法，制定能够规避障碍物、避免碰撞并达到预定目标的行为策略。两者相互依存，视觉感知为避障决策提供环境数据，避障决策根据这些数据执行行为。它们在自动驾驶、机器人导航等领域扮演关键角色，促进了无人系统在复杂环境中的智能应用和发展。

8.1 背景与理论

多模感知与智能决策技术是智能无人系统实现高效协同、自主运行和安全保障的核心支柱，构建了"感知-认知-行动"的闭环机制。

alt text

8.1.1 多源信息融合与鲁棒感知

传统无人系统的定位与控制方案多依赖GNSS卫星定位等单一传感器。在林地、城市峡谷、海面或室内等高干扰环境中，融合视觉、激光雷达、IMU等多模态传感器数据成为必然选择，通过SLAM算法等技术构建鲁棒、连续且可动态更新的环境模型。

8.1.2 避障路径规划与智能决策

规划避障依赖于融合感知数据，结合深度学习、强化学习、行为树、图搜索及最优化算法等先进方法，系统能够自主评估障碍风险，动态调整速度与航向，并实时生成安全且高效的路径。

8.2 框架与接口

RflySim 工具链结合典型开发案例，详细介绍智能感知与决策任务中的支持能力，包括传感器接口、数据采集与处理流程、典型任务算法结构等。

alt text

8.2.1 虚拟环境下的图像采集

RflySim 提供高保真的虚拟传感器仿真环境，支持 RGB 视觉、深度图像、激光雷达、IMU 等多模态传感器数据的生成，为视觉感知算法提供逼真的测试数据来源。

8.2.2 目标检测与跟踪

平台支持目标检测与跟踪、路径规划与避障策略等典型视觉任务的算法验证，提供标准化的接口框架，帮助开发者快速实现从仿真验证到实机部署的高效迁移。

alt text

8.3 精彩案例展示

五机视觉共享 SLAM 半实物仿真：

仿真算法开发与验证：

8.4 课程配套视频

本章节公开课回放（第七期：多模感知与智能决策）：

8.5 本章实验案例

本章相关验证实验与引导案例存放在 [安装目录]\RflySimAPIs\8.RflySimVision 文件夹中。

8.5.1 接口学习实验

存放在 8.RflySimVision\0.ApiExps 文件夹中，涵盖平台基础接口导学及各工具通识入门。

实验 1：双目摄像机系统标定

📝 实验简介： 通过RflySim仿真平台，演示改变棋盘位置和姿态进行双目相机标定，学习视觉传感器配置、图像获取及相机参数调整。

实验 2：ConfigJsonAPI取图接口实验

📝 实验简介： 通过Python接口配置视觉传感器参数，获取RflySim3D图像并实时控制无人机，学习VisionCaptureApi的使用和相机参数动态调整。

实验 3：NX与Pixhawk6x联合硬件在环仿真

📝 实验简介： 实现NX与Pixhawk6x联合硬件在环仿真，控制飞机进行穿环，涵盖飞控配置、NX可视化配置、工作空间编译及控制程序运行。

实验 4：视觉实验环境准备

📝 实验简介： 汇总视觉类实验前所需的软件环境、虚拟机环境和硬件在环准备内容，指导用户完成Ubuntu、Anaconda、Pytorch、OpenCV及网络通信配置，为后续视觉接口、分布式控制和算法实验提供统一前置条件。

实验 5：MAVROS Python OFFBOARD控制实验

📝 实验简介： 学习使用MAVROS Python接口将飞行器切换到offboard模式并解锁，实现位置控制，掌握ROS分布式仿真与WSL环境配置。

实验 6：RflySim视觉接口使用入门

📝 实验简介： 汇总视觉接口相关基础实验，帮助用户快速熟悉RflySim的取图和控制能力，覆盖图像、深度、点云、IMU、时间戳、协议传输和AirSim等常见接口主题，为基础视觉控制实验和进阶算法实验提供接口层准备。

实验 7：UDP直传PNG压缩图像分布式仿真实验

📝 实验简介： 学习使用UDP直传PNG压缩方式传输图像，在远端Linux系统或另一台Windows电脑中接收图像并回传飞机控制指令，掌握分布式视觉仿真实验方法。

实验 8：MAVROS C++ OFFBOARD控制实验

📝 实验简介： 本实验通过C++编写MAVROS程序，将飞行器切换到Offboard模式并解锁，设定固定坐标点，实现飞行控制，涵盖工作空间构建、仿真运行及关键知识点解析。

实验 9：视觉盒子硬件在环仿真穿环实验

📝 实验简介： 本实验旨在实现视觉盒子硬件在环仿真，控制飞机进行穿环。通过配置视觉盒子（内置NX和飞控），完成串口和网口两种方式的硬件在环仿真，学习PX4飞控配置、MAVLink通信及视觉传感器配置。

实验 10：自动生成AI训练数据集

📝 实验简介： 本实验通过RflySim3D仿真平台和Python接口，自动生成图像和点云AI训练数据集，分别以VOC和KITTI格式输出，学习视觉传感器配置与数据采集。

实验 11：Mavros C++版本控制接口实验

📝 实验简介： 本实验通过C++编写MAVROS控制程序，在RflySim仿真环境中实现ROS1和ROS2两种版本的无人机控制，并支持分布式部署，学习使用MAVROS接口进行飞行控制。

实验 12：多目相机图像获取实验

📝 实验简介： 通过Python接口获取RGB、灰度、深度三个相机图像，学习视觉传感器配置、图像获取及相机参数实时修改。

实验 13：PX4MavCtrlV4接口控制展示

📝 实验简介： 通过PX4MavCtrlV4.py接口控制无人机飞行姿态，学习位置、速度、姿态和加速度控制指令的使用，并掌握软件在环仿真流程。

实验 14：RflySim3D物体位置获取

📝 实验简介： 通过Python接口获取RflySim3D中动态创建物体的位置和碰撞数据，学习UE4CtrlAPI的使用方法。

实验 15：点云分割实验

📝 实验简介： 通过RflySim平台Python接口获取分割图点云数据并实时显示，学习视觉传感器配置、点云显示及飞机控制等关键知识点。

实验 16：UDP直传点云数据实验

📝 实验简介： 本实验通过UDP直传方式实现点云数据传输，学习使用VisionCaptureApi和PX4MavCtrler接口，配置激光雷达传感器，并在WSL或虚拟机中绘制点云图。

实验 17：轻量级无人机模型控制实验

📝 实验简介： 本实验使用Python开发基于质点的无人机控制模型，替代软硬件在环仿真，降低性能占用，实现平稳的无人机动态控制，并支持VS Code调试与代码修改。

实验 18：VMware虚拟机Ubuntu环境配置

📝 实验简介： 掌握VMware虚拟机的基本操作，学会配置网络模式（桥接和NAT），理解虚拟机设置与登录方法，为RflySim工具链使用做准备。

实验 19：Livox Mid360激光雷达仿真与ROS可视化

📝 实验简介： 基于RflySim仿真环境，完整跑通Livox Mid360激光雷达的数据链路，包括传感器仿真、UDP通信配置、ROS话题转发及RViz点云可视化，并通过PX4MavCtrlV4实现Offboard起飞与位置控制。

实验 20：时间戳获取实验

📝 实验简介： 通过Python接口获取RflySim仿真中无人机的时间戳数据，学习时间戳监听接口的使用，并掌握视觉传感器配置与UE控制方法。

实验 21：RflySim鱼眼相机实验

📝 实验简介： 本实验展示如何在RflySim平台中使用鱼眼相机进行仿真视觉获取与飞控联动，学习配置视觉传感器、获取图像、控制无人机并分析成像特性。

实验 22：仿真吊舱UI控制系统

📝 实验简介： 通过RflySim平台实现仿真吊舱UI控制系统，学习吊舱角度、变焦控制及AI目标识别追踪功能，掌握视觉传感器交互机制。

实验 23：分布式视觉控制接口实验

📝 实验简介： 汇总分布式视觉接口与控制接口实验，帮助用户理解图像跨主机传输、远端控制和ROS/MAVROS/MAVSDK联动方式，为跨平台多机协同场景提供接口基础。

实验 24：UDP直传不压缩分布式视觉仿真实验

📝 实验简介： 本实验通过UDP直传png不压缩方式传输图像，在远端Linux或Windows系统接收图像并回传飞机控制指令，实现分布式视觉仿真。

实验 25：相机标定实验

📝 实验简介： 通过Python接口获取RflySim3D图像并实时更新相机参数，进行单目相机标定，最终通过MATLAB获取相机内参。

实验 26：Ubuntu虚拟机环境配置

📝 实验简介： 学习Ubuntu虚拟机的基本配置，包括ROS1/ROS2、MAVROS及常用库的安装，并理解虚拟机网络配置的桥接与NAT模式。

实验 27：Imu和相机数据获取实验

📝 实验简介： 通过Python接口获取IMU和相机数据，学习使用VisionCaptureApi进行图像采集、传感器配置及飞机控制，并支持实时修改相机参数。

实验 28：LidarAPIPointCloudDemo

📝 实验简介： 通过Python接口获取激光雷达点云数据并实时显示，学习视觉传感器配置、点云显示及飞机控制等关键知识点。

实验 29：Python Mavsdk控制实验

📝 实验简介： 本实验通过Python mavsdk接口实现飞机控制，利用ReqCopterSim自动获取IP建立分布式联机仿真，展示MAVLink控制流程。

实验 30：无CopterSim取图实验

📝 实验简介： 本实验旨在通过Python接口在不启动CopterSim的情况下获取RflySim3D的相机图像数据，学习视觉传感器配置、图像获取及相机参数实时修改等核心功能。

实验 31：ROS订阅图像数据实验

📝 实验简介： 通过ROS订阅RflySim仿真中的图像数据，学习使用Python接口自动获取IP并建立连接，实现分布式仿真下的图像获取与OpenCV处理。

实验 32：Pixhawk6xNetSim视觉盒子硬件在环仿真

📝 实验简介： 基于网口方式的视觉盒子硬件在环仿真实验，配置Pixhawk 6X飞控与NX视觉盒子，通过Python接口和ROS实现飞机穿环控制。

实验 33：UDP直传激光雷达点云数据实验

📝 实验简介： 通过UDP直传模式获取激光雷达点云数据，并在虚拟机中动态显示，学习分布式仿真与点云数据处理。

实验 34：视觉AI接口实验

📝 实验简介： 汇总视觉AI基础实验，涵盖双目标定、相机建模、三维位置计算和数据集生成，为后续视觉算法实验提供数据与模型准备方法。

实验 35：图像UDP直传jpg压缩实验

📝 实验简介： 本实验通过UDP直传jpg压缩图像，在远端Linux或Windows系统中接收图像并回传控制指令，实现分布式联机仿真，学习图像传输与远程控制。

实验 36：相机标定与视场角计算实验

📝 实验简介： 本实验通过RflySim平台，在指定分辨率和视场角下计算相机焦距、内参矩阵及外参矩阵，并验证不同视场角下的成像误差。

实验 37：更改sys_id实现视觉盒子硬件在环穿环仿真

📝 实验简介： 本实验通过修改飞控的sys_id参数，实现视觉盒子（NX+Pixhawk 6x）的硬件在环仿真，控制飞机进行穿环飞行。实验涵盖串口和网口两种连接方式，涉及飞控固件烧录、参数配置、MAVLink通信设置及Python图像处理程序运行等步骤。

实验 38：深度相机取图实验

📝 实验简介： 通过Python接口设置深度相机参数，获取并显示深度图数据，学习视觉传感器配置与图像获取方法。

实验 39：大疆Livox激光雷达点云图像显示实验

📝 实验简介： 通过RflySim平台Python接口实现大疆Livox激光雷达扫描功能，获取并实时显示点云数据，学习视觉传感器配置、点云显示及飞机控制等关键知识点。

实验 40：Python Mavros控制实验

📝 实验简介： 本实验展示如何使用Python和MAVROS控制飞机，包括软件在环仿真、WSL可视化界面操作、offboard模式控制，以及分布式联机实验。

实验 41：NX与Pixhawk6x联合硬件在环仿真

📝 实验简介： 汇总视觉硬件在环套件的典型配置入口，帮助用户根据硬件方案选择Jetson NX、视觉盒子、多盒子或系统ID配置文档，为后续硬件在环穿环、图像处理和控制实验提供准备入口。

实验 42：UDP直传客户端服务器点云数据传输实验

📝 实验简介： 通过UDP直传方式从RflySim3D获取激光雷达点云数据，并在Linux/WSL环境中进行点云数据处理与可视化显示，学习视觉传感器配置和分布式联机实验方法。

实验 43：UavVisionRosCtrl视觉ROS控制穿环实验

📝 实验简介： 基于RflySim与ROS，通过Python接口获取视觉图像，使用MAVROS控制无人机进行穿环飞行，涵盖仿真配置、程序编译运行及参数调整。

实验 44：UDP直传jpg压缩多仿真实验

📝 实验简介： 本实验通过UDP直传jpg压缩方式传输图像，配置多个仿真窗口和相机，实现远端Linux或Windows接收图像并回传飞机控制指令，学习分布式视觉仿真与联机控制。

实验 45：分布式UDP压缩传图实验（自动获取IP）

📝 实验简介： 本实验通过UDP直传png压缩图像，实现Windows与Linux（WSL、虚拟机、板卡等）间的分布式图像传输与飞控指令回传，并学习自动获取IP及视觉接口配置。

实验 46：深度图转点云实验

📝 实验简介： 通过Python接口获取深度图数据并实时转换为点云图像显示，学习视觉传感器配置、点云显示及无人机控制。

实验 47：飞机、物体、相机信息获取实验

📝 实验简介： 通过Python接口获取飞机、物体和相机的信息，学习使用UE4CtrlAPI和PX4MavCtrl进行仿真控制与数据获取。

实验 48：获取相机、物体、靶标中心精确三维位置方法实验

📝 实验简介： 通过调用RflySim平台接口，获取相机、物体、靶标中心的精确三维位置，学习使用sendUE4Pos函数生成飞机与球，并计算相对位置。

实验 49：Python Mavros控制实验

📝 实验简介： 使用Python和Mavros通过RflySim工具链实现无人机仿真控制，涵盖软件在环仿真、WSL可视化界面操作、offboard模式控制及分布式联机实验。

实验 50：多视觉盒子联合仿真穿环实验

📝 实验简介： 使用两台视觉盒子实现联合仿真，控制飞机进行穿环，涵盖硬件配置、串口通信、参数设置及Python接口使用。

实验 51：点云可视化实验

📝 实验简介： 通过RflySim平台接口，实现点云数据的获取与可视化，支持共享内存和UDP传输模式，并学习使用相关Python接口进行分布式联机仿真。

实验 52：数据UDP直传png压缩实验

📝 实验简介： 学习使用UDP直传png压缩方式传输图像，在远端Linux或Windows系统接收图像并回传飞机控制指令，掌握SendProtocol参数配置和视觉接口使用方法。

实验 53：IMU数据获取实验

📝 实验简介： 通过Python视觉接口获取CopterSim仿真中的IMU数据，学习使用VisionCaptureApi发送IMU数据请求并读取数据，掌握仿真环境配置与调试方法。

实验 54：自动生成YOLO数据集实验

📝 实验简介： 使用RflySim平台和UE4仿真环境自动生成用于训练YOLO目标检测模型的视觉数据集，学习数据集生成流程、相机参数配置、目标检测标注方法及视觉数据处理技术。

实验 55：分布式UDP压缩传图实验（手动获取IP）

📝 实验简介： 学习使用UDP直传png压缩方式传输图像，并在远端Linux系统或另一台Windows电脑中接收图像，同时回传飞机控制指令，掌握手动设置IP地址的方法。

实验 56：相机取图实验

📝 实验简介： 通过Python接口获取RflySim3D的RGB图像和分割图像，学习视觉传感器配置、图像获取及相机参数修改。

实验 57：基于Python的Linux系统图像接收与ROS发布实验

📝 实验简介： 利用Python接口在Linux远端系统中请求RflySim3D发送传感器数据，接收图像和点云并转发到ROS空间，通过Rviz进行可视化观测。

实验 58：视觉传感器取图与传输延迟测试

📝 实验简介： 通过获取IMU数据时间戳与图像数据时间戳，计算延迟，测试取图和传输接口的极限延迟，并学习视觉传感器配置与UE4控制。

实验 59：基于Config.json配置修改ROS系统tf树实验

📝 实验简介： 通过平台接口自定义更改frame_id，学习使用Config.json配置视觉传感器参数，并通过ROS系统发布传感器数据话题，实现点云数据在Rviz中的正确显示。

实验 60：Pytorch环境一键安装

📝 实验简介： 为视觉算法、目标检测和深度学习实验准备Pytorch运行环境，通过脚本一键安装并验证，确保后续YOLO等实验的依赖部署。

实验 61：测距传感器实验

📝 实验简介： 通过配置测距传感器文件，在RflySim仿真环境中获取传感器测距数据，并学习使用Python控制无人机和显示测距图像。

实验 62：三种控制模式接口仿真实验

📝 实验简介： 本实验通过RflySim平台，在软件在环和硬件在环仿真中，演示位置控制、FRD坐标系位置控制、体坐标系速度控制和地坐标系速度控制四种控制模式，并学习视觉传感器接口的使用。

实验 63：AirSim API测试

📝 实验简介： 通过Python接口控制无人机进行AirSim API仿真，学习使用PX4MavCtrlV4.py实现起飞、位置控制和相机参数修改等操作。

实验 64：红外灰度热力图实验

📝 实验简介： 通过Python接口获取RflySim3D中的红外灰度图和热力图相机图像，学习视觉传感器配置、图像获取与显示，以及无人机控制指令的使用。

实验 65：大疆Livox激光雷达点云数据UDP直传模式实验

📝 实验简介： 通过RflySim平台接口，利用大疆Livox激光雷达在RflySim3D中扫描，并通过UDP直传10Hz频率的点云数据，学习视觉传感器配置与ROS发布模式。

实验 66：Ceres及OpenCV安装

📝 实验简介： 本实验指导用户在Ubuntu系统中通过脚本快速安装Ceres和OpenCV，并安装Rosbridge协议，为后续视觉处理开发准备环境。

实验 67：Anaconda使用入门（Python环境管理）

📝 实验简介： 帮助用户通过Anaconda管理视觉类实验所需的Python环境，创建独立依赖环境，降低库版本冲突风险，为后续Pytorch、YOLO、OpenCV等实验提供环境管理基础。

实验 68：激光雷达点云数据传输实验

📝 实验简介： 汇总激光雷达点云数据传输实验，帮助用户理解共享内存和UDP直传两种点云传输方式，为点云可视化、处理和分布式应用提供接口基础。

实验 69：UDP直传方式发布相机以及云台数据仿真实验

📝 实验简介： 在Ubuntu下运行服务端，通过UDP直传方式传输图像数据，处理并发布相机及云台数据话题，学习RflySim视觉接口和ROS通信。

实验 70：两路串口通信硬件在环仿真

📝 实验简介： 本实验通过RflySim工具链实现两路串口通信的硬件在环仿真，学习在不同主机（Windows和Linux）上配置PX4MavCtrl通信接口，实现飞机控制与仿真。

实验 71：OpenCV 4.10 Ubuntu22.04源码编译

📝 实验简介： 在Ubuntu 22.04环境下离线编译OpenCV 4.10源码，配置CUDA/GPU加速参数，通过自动化脚本或手动命令完成编译安装，并验证C++和Python版本的CUDA功能

8.5.2 基础使用实验

存放在 8.RflySimVision\1.BasicExps 文件夹中，面向初学者提供全套配套补充教材库。

实验 1：基于质点模型的穿环实验

📝 实验简介： 通过Python接口获取RflySim3D图像并实时更新相机参数，实现基于质点模型的无人机视觉穿环实验，学习视觉接口使用和相机参数配置。

实验 2：无人机跟踪小球实验

📝 实验简介： 通过RflySim平台获取图像，控制无人机视觉跟踪并飞至红色小球前停止，学习视觉接口、相机配置、飞机控制和图像处理算法。

实验 3：无人机视觉穿环控制实验

📝 实验简介： 本实验利用RflySim平台的视觉接口，通过OpenCV目标识别和视觉伺服控制，实现无人机自主穿越彩色圆环和方框，涵盖单机、双机及三机分布式协同穿环任务。

实验 4：无人机视觉跟随圆形目标实验

📝 实验简介： 通过控制无人机跟踪移动的圆形目标，演示基于计算机视觉的自主跟随技术，学习目标检测、图像处理、视觉伺服控制及PID控制应用。

实验 5：双目视觉人脸识别实验

📝 实验简介： 通过RflySim平台配置双目视觉灰度相机，获取图像并实现人脸识别，学习视觉接口使用、相机参数配置和飞机控制。

实验 6：屏幕截图接口撞击小球实验

📝 实验简介： 本实验通过RflySim平台，利用屏幕截图接口获取RflySim3D窗口图像，进行视觉处理以控制无人机撞击小球，学习屏幕截图取图方式及视觉控制流程。

实验 7：基础视觉控制实验

📝 实验简介： 汇总基础视觉控制类实验，通过穿环、撞球、目标跟随、吊舱控制和多机协同等例程，帮助用户理解视觉控制闭环，为复杂算法实验提供可复现的基础控制案例。

实验 8：RflySim平台基础视觉比赛接口实验

📝 实验简介： 验证相机、深度相机、激光雷达等感知链路的端到端数据流，实践感知到运动控制的闭环，熟悉ROS话题、坐标系映射及MAVROS控制接口，为视觉SLAM、导航、避障等算法开发搭建样例环境。

实验 9：无人机视觉穿环控制

📝 实验简介： 通过屏幕截图接口获取图像，完成无人机视觉穿环控制，验证从屏幕取图、目标识别到飞行控制输出的完整闭环，并熟悉软件在环与硬件在环两种启动方式下的实验流程。

实验 10：RflySim平台基础功能demo

📝 实验简介： 本实验在RflySim仿真环境中配置多种传感器（RGB相机、深度相机、激光雷达等），实现跨平台（Windows与Ubuntu）实时数据传输，并利用ROS进行传感器数据的订阅、处理和可视化，以掌握多传感器融合与跨平台通信技术。

实验 11：无人机识别与路径规划比赛实验

📝 实验简介： 本实验控制无人机起飞，实时识别环境物体并规划路径穿越方框，识别地面携带ArUco标记的小车并输出ID，最后识别降落位置并准确降落，以完成比赛任务。

实验 12：LLM大模型控制无人机编队实验

📝 实验简介： 掌握使用大语言模型控制无人机的方法，学习通过自然语言指令实现无人机的起飞、穿越框架、识别二维码、降落等操作，理解大模型在无人机智能控制系统中的应用原理和实践方法。

实验 13：LLM大模型无人机竞速SLAM实验

📝 实验简介： 本实验使用激光SLAM（Mid-360固态激光传感器）联合IMU进行无人机自主定位，未使用GNSS，并集成LLM大模型进行环境理解与决策，实现无人机竞速飞行与实时点云建图。

实验 14：空地协同赛道仿真操作

📝 实验简介： 本实验基于RflySim仿真平台，指导用户部署和运行空地协同（无人机与无人车）仿真例程，涵盖环境配置、传感器数据采集、SLAM定位及运动控制等核心流程。

实验 15：无人机跟随圆形案板移动实验

📝 实验简介： 通过视觉接口获取RflySim3D图像，利用键盘控制圆形案板移动，并实现无人机视觉跟随控制。

实验 16：共享内存方式吊舱视觉控制键盘仿真实验

📝 实验简介： 通过键盘控制无人机吊舱视觉（俯仰、偏航、横滚、焦距），学习共享内存图像传输、传感器配置及Python键盘控制方法。

实验 17：三无人机分布式控制实验

📝 实验简介： 通过三个Python脚本控制三架无人机依次进行穿环飞行，涵盖软件/硬件在环仿真、视觉传感器配置、无人机控制及图像处理等关键知识点。

实验 18：双无人机分布式控制实验

📝 实验简介： 通过两个Python脚本控制两架无人机依次穿环，学习屏幕截图取图、图像处理及分布式控制技术。

8.5.3 进阶开发实验

存放在 8.RflySimVision\2.AdvExps 文件夹中，进一步熟悉部分底层固件生态配置。

实验 1：UDP直传方式吊舱视觉控制键盘仿真虚拟机实验

📝 实验简介： 在虚拟机中运行程序，通过UDP直传方式接收图像数据，并使用键盘控制吊舱的俯仰、偏航、横滚角和视场角，学习视觉传感器配置和仿真环境搭建。

实验 2：UDP直传方式吊舱视觉控制键盘仿真实验

📝 实验简介： 通过平台接口键盘控制吊舱视觉的俯仰、偏航、横滚角和焦距，学习传感器配置与UDP直传图像传输方式。

实验 3：吊舱视觉键盘控制ROS仿真实验

📝 实验简介： 通过ROS实现键盘控制吊舱相机角度与焦距，平台与WSL间UDP通信，学习分布式仿真与视觉控制。

实验 4：RflySim平台视觉SLAM实验

📝 实验简介： 本实验基于RflySim工具链，通过Windows客户端与Ubuntu虚拟机/板卡服务端协同，实现无人机视觉SLAM控制与自动避障，学习视觉传感器配置、图像传输及分布式仿真接口的使用。

实验 5：激光雷达SLAM实验

📝 实验简介： 本实验通过RflySim平台和激光雷达SLAM算法，实现无人机在仿真环境中的自动避障移动，学习视觉接口、ReqCopterSim接口及分布式联机配置。

实验 6：基于YOLO的目标检测实验

📝 实验简介： 汇总基于YOLO的目标检测实验，帮助用户理解从图像采集、目标检测到飞行控制或传感器输出的完整流程，为视觉伺服、目标跟随等实验提供算法基础。

实验 7：单目标跟踪实验

📝 实验简介： 通过RflySim平台接口获取图像，利用目标跟踪算法控制无人机实现对目标物体的实时跟踪。

实验 8：目标跟随视觉伺服控制实验

📝 实验简介： 使用平台直接输出的目标结果作为输入，通过视觉伺服控制无人机跟踪高机动目标，验证视觉伺服控制流程，为目标检测、跟踪和视觉伺服算法调试提供可复现样例。

实验 9：Astar路径规划实验

📝 实验简介： 汇总Astar路径规划相关实验，帮助用户理解基于栅格搜索和ROS点云输入的路径规划实现方式，为路径规划、避障与导航类高级视觉实验提供算法基础。

实验 10：KCF穿环伴飞实验

📝 实验简介： 本实验通过无人机执行穿越环门和伴随地面小车两个任务，考察KCF目标识别与跟踪算法、EGO-Planner路径规划算法与RflySim工具链集成的效果。

实验 11：EGO-Swarm视觉集群感知规划实验

📝 实验简介： 通过三架无人机穿越树林的任务，考察EGO-Swarm路径规划算法与RflySim工具链的集成效果，学习多无人机分布式协同感知与规划。

实验 12：无人机激光雷达实时三维点云建图

📝 实验简介： 利用RflySim仿真平台的LiDAR与里程计数据，在ROS环境下实现点云坐标转换与拼接，通过TF变换树和齐次变换矩阵构建三维实体地图。

实验 13：双无人机TF树构建实验

📝 实验简介： 本实验通过RflySim仿真平台，学习在ROS环境下构建双无人机系统的TF树，掌握坐标变换、空间关系建模及命名空间隔离机制。

实验 14：基于ESDF和Voronoi图的无人机路径规划实验

📝 实验简介： 本实验通过处理二维栅格地图，构建ESDF场和Voronoi图，进行路径规划并映射到RflySim平台，控制无人机实现闭环避障运动。

实验 15：基于YOLO视觉检测的无人机自主跟随

📝 实验简介： 本实验在RflySim视觉仿真环境中完成数据采集、YOLO目标检测模型训练及无人机视觉跟随控制的完整闭环，使学习者掌握视觉伺服控制策略。

实验 16：基于YOLO的气球射击实验

📝 实验简介： 通过RflySim平台接口获取图像，使用YOLO算法检测气球，并控制无人机撞击气球，学习视觉传感器配置、图像传输及无人机控制。

实验 17：简易YOLO传感器多无人机识别

📝 实验简介： 通过简易YOLO传感器识别无人机，熟悉其配置方法，并应用于大规模仿真训练。

实验 18：AStar算法路径规划实验

📝 实验简介： 使用A*算法进行路径规划，将传统四邻域搜索改为8邻域搜索，涉及图像处理、坐标转换和OpenCV应用，通过RflySim工具链实现无人机路径规划仿真。

实验 19：激光SLAM视觉取图与IMU数据采集实验

📝 实验简介： 学习运行RflySim激光SLAM视觉取图演示，修改配置调整UE帧率与取图频率，分析图像与IMU时间戳，评估取图延迟以用于无人机控制。

实验 20：RflySim平台SLAM取图延迟分析

📝 实验简介： 通过RflySim平台进行SLAM视觉取图实验，分析图像与IMU时间戳延迟，并调整UE4帧率与取图频率以优化延迟。

实验 21：视觉SLAM取图延迟分析

📝 实验简介： 通过运行视觉SLAM演示，分析UE4取图频率与IMU时间戳的延迟，学习配置MaxFPS和DataCheckFreq以优化取图性能。

实验 22：简易YOLO传感器使用实验

📝 实验简介： 通过简易YOLO传感器识别无人机，熟悉其配置方法，理解简易传感器与RGB传感器联合输出目标识别结果的方式，为大规模仿真训练和多目标识别实验提供基础传感器方案。

实验 23：Astar算法规划路径（ROS）实验

📝 实验简介： 基于ROS平台，使用A*算法进行全局路径规划，并通过MAVROS接口与飞控通信，实现无人机按照规划路径飞行，涵盖代码编译、程序启动、TF坐标变换配置等步骤。

实验 24：YOLOv5目标检测REST API服务

📝 实验简介： 使用Flask框架构建REST API以暴露YOLOv5目标检测模型，使其他服务能够通过HTTP请求调用PyTorch Hub的YOLOv5s模型进行图像目标检测推理

实验 25：YOLOv5集成W&B可视化训练工具

📝 实验简介： 介绍如何在YOLOv5中集成Weights&Biases(W&B)机器学习实验跟踪工具，实现训练过程可视化、指标监控、数据集版本管理和实验对比功能

8.5.4 高阶开发实验

存放在 8.RflySimVision\3.CustExps 文件夹中，面向高阶用户的自定义开发实验。

实验 1：VINS-Fusion视觉SLAM建图实验

📝 实验简介： 在Linux环境中运行VINS-Fusion算法，利用Windows平台RflySim仿真数据实现无人机视觉SLAM建图，学习VINS-Fusion算法原理及仿真集成。

实验 2：ORB-SLAM3在RflySim仿真数据下的集成与验证

📝 实验简介： 学习将ORB-SLAM3通过ROS节点与RflySim数据流（图像与IMU）集成，在本地构建并运行ORB-SLAM3 ROS节点，采集轨迹与位姿发布。

实验 3：使用行为树实现无人机控制

📝 实验简介： 本实验使用行为树实现无人机的起飞、指点飞行和降落功能，并演示如何自定义行为树节点，学习行为树基础概念、MAVROS通信机制及自定义节点开发。

实验 4：双无人机协同侦察打击实验

📝 实验简介： 模拟双无人机协同作战场景，2号机侦察发现红色气球目标后，将信息传递给1号机，1号机起飞实施打击，验证协同作战中的信息传递、目标识别与精准打击能力。

实验 5：行为树结合大模型视觉控制实验

📝 实验简介： 通过Ollama本地部署量化千问模型，解析自然语言指令生成行为树，结合ROS与PX4 SITL实现无人机视觉控制闭环，学习语义到动作的映射。

实验 6：声音视觉传感器融合实验

📝 实验简介： 掌握声音与视觉传感器融合识别技术，通过ITD声源定位和YOLOv5视觉检测，实现无人机对目标的跟踪控制。

实验 7：空地协同软件在环仿真操作

📝 实验简介： 本实验基于第28届中国机器人大赛空地协同赛道，提供无人机与无人车的软件在环仿真（SITL）完整代码及操作指南，涵盖环境搭建、编译、启动仿真平台及运行程序，实现无人机穿越方框、刺破气球和无人车穿越门洞等任务。