跳转至

第6章 外部控制与轨迹规划

在完成底层滤波与控制系统的开发后,无人系统需要接收来自上层决策层的指令,实现更高层次的运动控制。外部控制与轨迹规划正是连接底层控制与上层智能决策的关键桥梁。本章将介绍外部控制接口的设计与使用方法,以及轨迹规划算法的开发与验证。


6.1 背景与理论

无人机作为一种具有自主飞行能力的飞行器,其外部控制能力对于实现精确的飞行任务和安全的飞行操作至关重要。通常常见的控制方式有:遥控器控制地面站控制半自主控制、和通过计算机相应接口控制。其中外部控制理论主要涉及飞行器在空中的稳定性,一般理解为对无人机的位置和姿态控制。

alt text

6.1.1 外部控制模式

外部控制(Offboard Control)是指通过地面站或机载计算机向飞控发送控制指令的一种模式。在这种模式下,飞控作为执行机构,接收外部系统生成的位置、速度或姿态指令,并将其转化为底层电机控制信号。MAVLink 协议是实现外部控制的主流通信协议,支持多种控制模式和消息类型。遥控器常见的外部控制模式包括:

  • 位置模式:向飞控发送目标位置,无人机自主规划路径飞向目标点
  • 速度模式:发送速度指令,控制无人机按指定速度移动
  • 姿态模式:发送姿态角期望值,控制无人机达到指定姿态

6.1.2 轨迹规划基础

轨迹规划问题是多旋翼决策层面的一个重要问题,是指在特定约束条件下,寻找满足多旋翼机动性能及飞行环境信息限制的,从起始点到目标点的最优飞行轨迹。它是多旋翼任务规划系统的关键技术,也是多旋翼实现自主飞行的技术保障。

alt text

轨迹规划的主要功能包括:在飞行前,帮助任务规划人员为即将执行任务的多旋翼选择一条最优的路径;在飞行过程中,能够在一定程度上根据现场情况进行在线路径重规划。规划出来的路径作为多旋翼飞行的参考路径,引导多旋翼在控制律的作用下完成飞行任务。

alt text


6.2 框架与接口

RflySim 工具链提供了丰富的外部控制与轨迹规划接口,支持 Python、MATLAB/Simulink 等多种开发环境。

alt text

RflySim 支持通过 MAVLink 协议实现外部控制。MAVLink(Micro Air Vehicle Link)是一种轻量级的无人机通信协议,已成为行业标准。通过 MAVLink,开发者可以向飞控发送位置、速度、姿态等多种类型的控制指令,实现对无人机的精确控制。 alt text 工具链提供了 Python 版的 MAVLink 控制接口(RflySimSDK)和 Simulink 模块库,用户可以根据项目需求选择合适的开发工具。通过这些接口,用户可以:

  • 实现自动起飞、降落指令
  • 发送航点任务队列
  • 实时调整飞行速度和高度
  • 获取无人机实时状态信息

alt text

6.2.2 轨迹规划算法接口

在轨迹规划方面,RflySim 提供了与主流规划算法的对接接口。用户可以在 Python 或 MATLAB 环境中实现各类规划算法,包括:

  • 全局路径规划:基于环境地图的最优路径搜索
  • 局部避障规划:基于传感器信息的实时避障
  • 时间最优轨迹生成:考虑动力学约束的最短时间轨迹
  • 平滑轨迹优化:基于微分平坦的平滑轨迹生成

alt text

6.2.3 外部控制开发流程

一个完整的外部控制程序包括通信连接设置模式与解锁发布期望指令状态检测结束返航等核心流程。

alt text

结合上方流程图可知,在开展物理实机控制或仿真(HITL/SITL)测试时,程序首先需要与飞控建立稳定的通信连接,并在确认连接成功(如接收到心跳包)后,开始以一定的频率(建议 10Hz 以上)持续向飞控发送位置、速度、角速度或姿态等期望目标值。需要特别注意的是,在确保目标指令流稳定下发的前提下,程序才能通过循环判断,请求并将飞控成功切换为 Offboard(板外)控制模式;待模式切换成功后,下发解锁(Arm)指令启动电机进行带有状态监测的闭环控制任务;最终在任务结束后下发降落、返航及锁定指令安全回收载具。


6.3 精彩案例展示

空地协同外部轨迹规划控制

多旋翼虚拟管道飞行


6.4 课程配套视频

本章节公开课回放(第五期:外部控制与轨迹规划)

6.5 本章实验案例

本章相关验证实验与引导案例存放在 [安装目录]\RflySimAPIs\6.RflySimExtCtrl 文件夹中。

6.5.1 接口学习实验

存放在 6.RflySimExtCtrl\0.ApiExps 文件夹中,涵盖平台基础接口导学及各工具通识入门。

实验 1:外部控制开发数传通信实验

📝 实验简介: 以USB-TTL模块有线连接飞控和电脑为例,介绍数传的通信方式,包括串口配置、波特率设置,实现硬件在环下的外部控制。

实验 2:PX4MavCtrl外部控制验证

📝 实验简介: 熟悉无人机offboard模式控制、状态数据获取和RflySim3D控制接口,了解SITL通信框架。实验通过Python外部控制库实现无人机起飞降落及3D场景中动态目标的生成与视角控制。

实验 3:数传连接Pixhawk飞控硬件在环仿真

📝 实验简介: 学习通过MicroUSB和TTL串口线连接真实Pixhawk 6C飞控,使用MAVLink串口通信协议进行硬件在环仿真的配置与控制方法

实验 4:GPS位置控制SendPosGlobal验证

📝 实验简介: 通过RflySim平台的SendPosGlobal函数接口实现无人机GPS全局位置控制,学习Offboard模式下Mavlink位置控制指令的发送与执行。

实验 5:SendRCPwms电机PWM控制

📝 实验简介: 通过RflySim平台的SendRCPwms函数接口控制无人机电机PWM值,实现电机转速调节和飞行控制,掌握RCOverride模式下的飞控解锁与指令发送方法

实验 6:多机PX4MavCtrl SITL控制

📝 实验简介: 学习使用PX4MavCtrl接口同时控制四架无人机进行Offboard模式下的位置和速度控制SITL软件在环仿真

实验 7:PX4加速度控制接口验证

📝 实验简介: 通过SendAccPX4接口给无人机发送加速度指令,学习MAVLink监控、真值监听、Offboard模式切换及位置和加速度控制流程

实验 8:SendAttPX4姿态油门控制验证

📝 实验简介: 通过RflySim平台的SendAttPX4接口给飞机发送期望姿态和油门数据,验证无人机的姿态和油门控制功能

实验 9:UE地图坐标系与无人机坐标系转换实验

📝 实验简介: 熟悉无人机控制原点和UE地图原点坐标系转换,通过setGPSOriLLA和lla2ned接口实现多无人机坐标系统一,控制四架无人机飞到同一位置。

实验 10:基于视觉的无人机撞击小球实验

📝 实验简介: 利用VisionCaptureApi捕获RflySim 3D图像,通过OpenCV识别小球质心并解算控制指令,控制无人机自动撞击红色小球,学习视觉导航与飞控指令下发。

实验 11:无人机UDP_Full通信控制实验

📝 实验简介: 通过UDP_Full通信模式向CopterSim发送指令,控制无人机起飞、飞行和降落。学习Offboard模式切换及位置速度控制指令的发送,适用于中小规模集群仿真。

实验 12:UDP_Simple通信模式控制实验

📝 实验简介: 通过UDP_Simple通信方式给无人机发送控制指令,学习PX4飞控Offboard模式的切换与位置速度控制,实现飞机的起飞、前飞和降落操作。

实验 13:MA VLink_Full模式无人机控制

📝 实验简介: 通过MA VLink_Full默认通信模式,使用Python接口函数发送控制指令给飞机,实现起飞、前飞、降落等Offboard模式下的无人机控制。

实验 14:MAVLink_Simple通信模式控制实验

📝 实验简介: 通过MAVLink_Simple通信控制无人机,实现Offboard模式切换、位置速度指令发送及飞行控制,适用于8架以下小规模集群仿真。

实验 15:MAVLink_NoSend模式飞控控制

📝 实验简介: 通过MAVLink_NoSend模式对CopterSim发送指令,学习Offboard模式控制无人机,实现硬件在环仿真

实验 16:物体飞机相机信息获取接口验证

📝 实验简介: 通过Python接口获取飞机、物体和相机的信息,学习视觉接口和UE控制的使用方法

实验 17:时间戳获取接口getTimeStmp验证

📝 实验简介: 通过Python接口调用getTimeStmp函数获取指定飞机的时间戳数据,学习RflyTimeStmp结构体中包含的飞机ID、仿真起始时间戳、当前时间戳和心跳计数等信息

实验 18:MAVSDK飞控算法设计实验

📝 实验简介: 通过MAVSDK库设计自己的mavlink控制算法,基于官方例程适配RflySim平台,实现无人机起飞、降落及Offboard模式航点飞行等SITL/HITL仿真实验

实验 19:Mavros控制SIL无人机

📝 实验简介: 通过Ubuntu中启动Mavros控制Windows端软件在环仿真无人机,实现Offboard模式解锁和位姿控制,学习MAVLink通信和无人机ros控制

实验 20:MAVSDK官方例程适配实验

📝 实验简介: 基于MAVSDK官方例程适配RflySim平台的综合实验,涵盖参数获取、校准、相机控制、航点任务、外部控制、遥测监控、RTK定位等功能,支持SITL和HITL仿真

实验 21:C++ ROS转发节点综合模型通信

📝 实验简介: 使用C++ ROS转发节点(udp_ros_bridge)将RflySim综合模型UDP数据转换为ROS话题,替代mavros基础功能,实现基于PX4软硬件在环的算法向RflySim综合模型的快速迁移,演示ROS 1/ROS 2环境下多无人机状态订阅与控制。

实验 22:大语言模型云端API调用

📝 实验简介: 学习使用Python调用DeepSeek等大语言模型云端API,掌握环境变量配置和OpenAI兼容SDK的使用方法

实验 23:PX4+ROS2 uXRCE-DDS网口通信控制

📝 实验简介: 学习通过uXRCE-DDS协议实现PX4飞控与ROS2的集成通信,掌握网口配置与无人机Offboard控制

实验 24:ROS环境单机飞行控制

📝 实验简介: 该实验演示在ROS1和ROS2环境下使用PX4MavCtrlV4ROS库进行硬件在环单机飞行控制,观察ROS环境的信息交换效果。

实验 25:MAVSDK起飞着陆实验

📝 实验简介: 基于MAVSDK官方例程适配RflySim平台,实现无人机自动起飞与降落,学习MAVSDK通信协议和无人机控制指令

实验 26:大语言模型生成无人机控制代码

📝 实验简介: 本实验探索利用大语言模型(如DeepSeek)辅助开发无人机控制程序,通过自然语言描述和模板代码生成无人机控制逻辑,实现起飞、悬停、轨迹跟踪等功能,并验证LLM在无人机控制领域代码生成的准确性。

实验 27:MAVSDK Offboard航点飞行实验

📝 实验简介: 基于MAVSDK实现无人机在Offboard模式下按世界坐标系(北东地)航点飞行,学习MAVSDK基本操作和无人机控制指令

实验 28:Python版ROS转发程序

📝 实验简介: 使用Python ROS转发程序替代mavros,实现RflySim综合模型与ROS话题的双向桥接,支持ROS 1/ROS 2下多机控制,便于将PX4软硬件在环算法迁移到综合模型。

实验 29:ROS多机飞行控制

📝 实验简介: 通过PX4MavCtrlV4ROS库在ROS 1和ROS 2环境下进行多无人机SITL仿真实验,学习多机控制算法的配置与运行方法

实验 30:uXRCE-DDS串口通信与ROS2控制实验

📝 实验简介: 本实验实现PX4飞控与ROS2系统之间基于uXRCE-DDS的串口通信,涵盖传感器数据订阅和无人机offboard控制,学习串口通信配置及硬件在环仿真调试方法

实验 31:LLM直接控制无人机

📝 实验简介: 学习和实现基于大语言模型(DeepSeek)的无人机自然语言控制技术,掌握将自然语言指令解析为标准化机器控制指令的方法,体验AI与无人机控制的结合应用

实验 32:MAVSDK Offboard航点飞行实验

📝 实验简介: 基于MAVSDK官方例程适配RflySim平台,实现无人机在Offboard模式下按CSV航点数据飞行,演示飞机起飞后成心形航线飞行的全过程。

实验 33:本地LLM无人机控制

📝 实验简介: 在本地部署浅层LLM(Ollama+qwen)驱动自然语言无人机控制,并在线调用深层LLM(火山豆包)完成轨迹推理,验证指令解析、UDP控制链路、航路规划与可视化流程的正确性与稳定性

6.5.2 基础使用实验

存放在 6.RflySimExtCtrl\1.BasicExps 文件夹中,面向初学者提供全套配套补充教材库。

实验 1:MAVLink外部控制接口开发

📝 实验简介: 基于Simulink的MAVLink协议通信实验,学习MAVLINK_MSG_ID_HIL_ACTUATOR_CONTROLS消息的数据发送与接收模块开发,实现飞控与MATLAB的外部控制通信。

实验 2:系统辨识实验

📝 实验简介: 通过对比传递函数模型与多旋翼非线性模型,用扫频信号激励并观察输出差异,理解系统建模与辨识过程。

实验 3:多旋翼系统辨识实验

📝 实验简介: 利用CIFER软件对多旋翼非线性模型进行系统辨识,获得四个通道(高度、偏航、水平前向、水平侧向)的传递函数模型,要求代价函数J≤50,并加入积分环节形成完整机体模型。

实验 4:多旋翼系统辨识实验

📝 实验简介: 通过对多旋翼非线性模型外加控制器的方式进行系统辨识,使用CIFER软件获得水平前向、水平侧向、高度和偏航四个通道的传递函数,判定标准为代价函数J≤50,并通过Bode图对比设计实验与分析实验的模型差异。

实验 5:系统辨识实验(实飞)

📝 实验简介: 通过外加控制器对多旋翼进行位置和偏航通道模型的系统辨识,利用CIFER软件获取四通道传递函数,目标是代价函数J≤100。

实验 6:无人机位置控制

📝 实验简介: 通过Simulink模型实现Offboard模式下无人机的位置控制,验证位置控制接口并在RflySim 3D和QGC中观察无人机飞行效果

实验 7:卡尔曼滤波器设计实验

📝 实验简介: 在多旋翼仿真模型中学习卡尔曼滤波器算法原理,将速度反馈信号用卡尔曼滤波估计替代,对比不同参数下的滤波效果

实验 8:卡尔曼滤波器参数调试与噪声分析

📝 实验简介: 通过调整卡尔曼滤波器的测量噪声和过程噪声协方差参数,对比分析不同噪声条件下的滤波效果,验证滤波器在传递函数模型和非线性模型中的有效性

实验 9:带延时的卡尔曼滤波器设计实验

📝 实验简介: 设计带延时的卡尔曼滤波器,在仿真1.0和2.0中进行闭环控制,对比滤波效果并进行硬件在环仿真

实验 10:基于扩维法的卡尔曼滤波器实飞实验

📝 实验简介: 通过设计基于扩维法的卡尔曼滤波器进行速度反馈,解决实飞中传感器信号延时问题,并将滤波后的速度应用于闭环控制,对比控制效果。

实验 11:无人机速度控制接口验证实验

📝 实验简介: 通过Simulink验证无人机Offboard模式下的速度控制接口,通过实时调整速度变量实现无人机位置变化,掌握上位机速度控制方法。

实验 12:e3.1

📝 实验简介

实验 13:多旋翼轨迹跟踪控制分析实验

📝 实验简介: 基于频率域方法设计多旋翼轨迹跟踪控制器,满足速度环相位裕度>65°、截止频率>3rad/s及位置环相位裕度>60°、截止频率>2rad/s的性能要求,对比线性模型与非线性模型的仿真跟踪效果。

实验 14:多旋翼圆轨迹跟踪控制器设计

📝 实验简介: 设计加性分解控制器,使多旋翼在偏航角偏转时能稳定跟踪圆轨迹(圆心(0,0),半径1m),机头始终指向圆心,水平方向偏差不大于20%,并完成Sim2.0和HIL仿真验证。

实验 15:遥控器模式单机控制实验

📝 实验简介: 使用Simulink控制器代替遥控器,通过VeX、VeY、VeZ、Yaw四个变量分别模拟遥控器的俯仰、滚转、油门和偏航通道,实现对无人机的飞行控制。

实验 16:多旋翼路径跟随控制

📝 实验简介: 基于多旋翼传递函数模型设计路径跟随控制器,实现直线路径跟随(起点(5,-3)至终点(5,10)),掌握路径跟随控制理论并完成sim1.0和sim2.0仿真验证

实验 17:路径跟随控制参数调整实验

📝 实验简介: 通过修改路径跟随控制器参数k1和a0,对比直线路径跟随轨迹变化,分析参数对多旋翼贴合期望轨迹速度的影响规律,总结参数调整对路径跟随效果的作用。

实验 18:圆轨迹路径跟随控制器设计

📝 实验简介: 设计圆轨迹路径跟随算法,圆心位于(0,0),半径3m,偏航角保持0,高度保持2m。包含仿真1.0、仿真2.0和硬件在环仿真三种实验方式。

实验 19:圆轨迹路径跟随控制

📝 实验简介: 基于辨识传递函数模型设计圆轨迹路径跟随控制器,分别进行仿真和实机验证

实验 20:OffboardAPI验证实验

📝 实验简介: 学习使用PX4的OffboardAPI通过Simulink控制无人机,实现速度、位置、姿态等控制模式,掌握外部计算机通过串口或网络连接控制无人机的通信原理。

实验 21:避障控制基础实验

📝 实验简介: 利用人工势场法,引导多旋翼避开障碍物到达目的地。掌握Simulink仿真平台构建、控制器设计,学习在不同目标位置下验证避障算法的有效性。

实验 22:多旋翼避障控制基础实验

📝 实验简介: 基于人工势场法实现多旋翼单机避障控制,对比Sim1.0线性模型与Sim2.0非线性模型的仿真结果,分析a0、k1、k2等参数对避障轨迹的影响规律。

实验 23:多机避障控制器设计

📝 实验简介: 设计多机合作避障算法,使用人工势场法实现两架多旋翼相互避障及避开静态障碍物,掌握多旋翼避障控制原理,包含仿真1.0、2.0及硬件在环实验

实验 24:多旋翼避障控制器设计

📝 实验简介: 通过人工势场法实现多旋翼多机避障控制器设计,包含Simulink仿真与Tello实飞实验,掌握避障算法在实际飞行中的应用

实验 25:转台四旋翼姿态控制实验

📝 实验简介: 通过MATLAB/Simulink搭建多旋翼飞行控制器,发送MAVLINK指令控制转台上四旋翼无人机姿态,掌握MAVLINK通信及四旋翼姿态控制与参数整定

实验 26:外部定点控制器设计验证

📝 实验简介: 学习三通道多旋翼线性化传递函数仿真模型,设计定点控制器实现飞行器位置控制,并在Simulink和RflySim3D中验证控制效果

实验 27:卡尔曼滤波器设计实验

📝 实验简介: 在多旋翼仿真模型中,将控制器中的速度反馈信号用卡尔曼滤波估计替代,验证卡尔曼滤波在状态估计中的应用效果。

实验 28:轨迹跟踪控制器设计

📝 实验简介: 多旋翼跟踪控制器设计实验,包含三通道线性化传递函数模型学习、阶跃响应分析、频率域控制器设计,以及偏航角跟踪的加性分解控制器设计

实验 29:路径跟随控制器设计实验

📝 实验简介: 学习路径跟随理论原理,实现多旋翼直线路径与圆轨迹跟随控制,包含基础实验、分析实验、设计实验和实飞实验四个阶段。

实验 30:避障控制器设计实验

📝 实验简介: 利用人工势场法进行多旋翼避障控制的实验,包含基础、分析、设计和实飞四个递进实验,学习掌握单多旋翼及多机合作避障算法的设计与实现。

实验 31:RflySim扩展API用法

📝 实验简介: 本实验为RflySim外部控制API的基础入门实验,主要介绍Visual Studio 2017编译器的安装配置,以及RflySim工具链配合Pixhawk 6X飞控的实验环境搭建,为后续外部控制API开发奠定基础。

实验 32:MAVLink模块封装实验

📝 实验简介: 基于Simulink使用S-Function Builder封装MAVLink消息的发送和接收模块,实现MAVLINK_MSG_ID_HIL_ACTUATOR_CONTROLS消息的数据打包与解析。

实验 33:MAVLink消息发接实验

📝 实验简介: 本实验基于MAVLink通信协议,模拟发送MAVLINK_MSG_ID_HIL_ACTUATOR_CONTROLS消息并进行接收,实现MAVLink数据的编码与解码功能,学习无人载具与地面站之间的通信原理。

6.5.3 进阶开发实验

存放在 6.RflySimExtCtrl\2.AdvExps 文件夹中,进一步熟悉部分底层固件生态配置。

实验 1:MAVLink协议控制实验

📝 实验简介: MATLAB通过MAVLink协议在硬件在环仿真中控制无人机解锁和飞行姿态,实验包含解锁HIL实验和MAVLink姿态控制实验两部分,学习MAVLink通信协议在无人机控制中的应用。

实验 2:MavlinkUdp通信模块单机控制实验

📝 实验简介: 通过RflyUdpFast传输模块接收无人机状态信息,使用Simulink建模实现单机局部位置运动控制,发送控制指令进行软件在环和硬件在环仿真实验,学习MAVLink协议与UDP通信机制。

实验 3:RflySerialRaw串口通信单机控制实验

📝 实验简介: 使用RflySerialRaw串口传输模块,通过Simulink接收无人机状态信息并进行单机局部位置运动控制(如圆周运动)的硬件在环仿真实验。

实验 4:IsaacSim无人机跟随圆形案板实验

📝 实验简介: 基于IsaacSim训练无人机跟随圆形案板实验,通过视觉接口获取RflySim 3D图像,进行图像处理并计算控制指令,使无人机实时跟随案板移动,适用于视觉控制与仿真验证教学与调试

实验 5:直线轨迹规划

📝 实验简介: 通过控制无人机执行直线轨迹飞行任务,学习无人机轨迹规划的基本原理、Python控制方法、Offboard模式下的位置控制和偏航角控制策略。

实验 6:MavSfun解锁HIL实验

📝 实验简介: 通过MA VLink通信协议封装模块和UDP方式,在CopterSim硬件在环仿真中实现解锁信息的显示,学习MA VLink协议的基本使用方法。

实验 7:RflySim工具链DDPG位置控制强化学习实验

📝 实验简介: 基于MATLAB/Simulink软件在环流程,使用DDPG强化学习算法实现无人机位置控制,掌握RL Agent生成X向加速度指令的控制逻辑与评估方法,学习Actor-Critic框架及DDPG算法原理。

实验 8:MavLink控制HIL实验

📝 实验简介: 基于CopterSim软件在硬件在环仿真时,通过MavLink封装模块UDP的方式实现无人机姿态控制,掌握MA VLink通信协议的应用方法

实验 9:多点轨迹规划与速度控制

📝 实验简介: 通过控制无人机执行多点轨迹飞行任务,掌握多点轨迹规划原理、速度控制策略、动态偏航角控制及航点减速机制,实现复杂轨迹的平滑跟踪。

实验 10:具身智能强化学习四旋翼加速度悬停控制

📝 实验简介: 基于Genesis与RflySim软件在环环境,掌握PPO端到端强化学习流程,理解加速度级控制与PID层级接口,会构建无人机仿真任务并注入噪声提升泛化,实现PX4通信与SIL验证,完成GPU到CPU样本等效调参。

实验 11:圆形轨迹规划与控制

📝 实验简介: 通过实时速度控制实现无人机圆形轨迹飞行,学习圆形轨迹的参数化表示、角速度与切向速度关系、实时轨迹生成与控制频率管理等关键技术

实验 12:螺旋轨迹规划与实时速度控制

📝 实验简介: 通过控制无人机执行螺旋轨迹飞行任务,帮助用户掌握螺旋轨迹规划原理、实时速度控制方法、三维轨迹跟踪技术及多维速度分量合成原理

6.5.4 高阶开发实验

存放在 6.RflySimExtCtrl\3.CustExps 文件夹中,面向高阶用户的自定义开发实验。

实验 1:基于smolagents的无人机自然语言控制

📝 实验简介: 利用CodeAgent智能体框架和大语言模型,实现用户通过自然语言描述任务,系统自动生成Python控制代码驱动无人机完成起飞、导航、拍照等复杂多步骤任务,探索「语言即任务代码」的无人机智能控制方法。

实验 2:大模型指令控制无人机

📝 实验简介: 将大语言模型与PX4飞控软件在环仿真集成,实现中文指令解析、标准化控制命令生成及UDP航点协议下发的闭环控制流程。

实验 3:Ros2CtrlDemoPX4集成控制

📝 实验简介: 学习通过uXRCE-DDS实现PX4飞控与ROS2的直接通信,掌握软件在环仿真环境下使用ROS2进行offboard控制的配置与方法

实验 4:基于大模型的无人机自然语言控制实飞

📝 实验简介: 验证大模型自然语言解析模块与飞控系统的实飞集成效果,学习将中文口语指令转化为标准化无人机控制命令的方法

实验 5:大模型语音控制无人机仿真

📝 实验简介: 探索实时语音指令识别(ASR)与大模型控制的协同工作流程,学习火山引擎语音识别服务调用、UDP/Mavlink通信协议、PyAudio音频采集以及大模型指令解析与无人机控制

实验 6:语音控制无人机飞行实验

📝 实验简介: 通过语音识别和OpenAI大模型,将自然语言指令转化为无人机控制命令,在室内动捕环境下验证语音控制无人机的闭环飞行可行性。

实验 7:大模型多机避障测试

📝 实验简介: 验证基于大模型自然语言/语音指令在室内多架旋翼无人机上进行避障规划,学习大模型驱动的避障路径规划、语义级任务描述与空间约束联合理解、多机协同机制