一种多无人机的自适应网络成型和轨迹优化方法

1.本发明涉及无线通信领域，尤其涉及一种多无人机的自适应网络成型和轨迹优化方法。


背景技术：

2.为了解决物联网发展过程中所面临的各种问题，无人机辅助的无线通信网络被认为是一种非常具有潜力和应用前景的解决方案。为扩展物联网规模所面临的能源供应有限、位置偏远和非视线障碍物等问题，都可以通过在无线网络中部署飞行无人机辅助物联网用户数据传输来解决。但现在的单无人机、多无人机辅助系统的技术成果主要方向是对无人机飞行路径的规划，或者单独考虑无人机的控制问题，没有考虑无人机路径与多无人机网络连接关系之间的耦合关系。


技术实现要素：

3.本发明的目的是提供一种多无人机的自适应网络成型和轨迹优化方法，旨在协作优化轨迹策略和网络成型策略，充分利用多无人机协作网络的优势，解决地面用户设备数据传输困难的问题。
4.本发明所采用的第一技术方案是：一种多无人机的自适应网络成型和轨迹优化方法，包括以下步骤：
5.基于启发式方法，根据无人机能量消耗和数据缓存状态调整网络成型，得到自适应网络成型策略；
6.基于多智能体强化学习方法，结合自适应网络成型策略进行多无人机的轨迹联合优化。
7.进一步，所述基于启发式方法，根据无人机能量消耗和数据缓存状态调整网络成型，得到自适应网络成型策略这一步骤，其具体包括：
8.在每个传输子时隙t，无人机向基站报告当前状态；
9.所述当前状态包括位置、网络成型策略(φ(t),ψk(t))、能耗和缓冲区信息
10.当基站收集到所有无人机的状态信息，以平衡无人机的能量消耗和队列大小为目标，调整网络成型矩阵(φ(t),ψk(t))；
11.基站在每个时隙t中评估每个无人机的成本函数cj(t)，当第i个无人机的成本函数持续增加超过阈值时，允许该无人机以最小成本cj(t)连接邻近的其他无人机。
12.进一步，还包括：
13.判断到不利于基站收集数据，禁用部分无人机与无人机之间的连接。
14.进一步，所述基于多智能体强化学习方法，结合自适应网络成型策略进行多无人机的轨迹联合优化这一步骤，其具体包括：
15.对多无人机系统，定义所有无人机状态的联合观测si(t)和动作ai(t)；
16.第i个无人机在第t个时隙，在s(t)状态下采取行动ai(t)，得到奖励ri(s(t),ai(t))；
17.根据奖励ri(s(t),ai(t))进行轨迹优化。
18.进一步，所述奖励包括能量奖励r
i,e
(t)、传输奖励r
i,d
(t)和感知奖励r
i,c
(t)：
19.能量奖励r
i,e
(t)，定义为消耗能量的负值，用于促使第i个无人机在每个时隙减少能量消耗；
20.传输奖励r
i,d
(t)，表示从第i个无人机传输到基站的数据量；
21.感知奖励r
i,c
(t)，表示第i个无人机所覆盖范围内物联网用户的传感器传输回来的数据。
22.进一步，还包括：
23.结合惩罚函数进行轨迹优化。
24.本发明方法的有益效果是：本发明考虑了多架无人机之间的耦合影响，通过统筹多无人机的调度实现无线网络传输性能最优解，另外由于统合考虑了自适应网络成型，能够极大的提升多无人机辅助无线网络系统的性能，使得系统更加灵活、应用场景更加广泛。
附图说明
25.图1是本发明具体实施例多无人机辅助无线网络系统的结构框图；
26.图2是本发明具体实施例多无人机的自适应网络成型和轨迹优化方法的结构示意图。
具体实施方式
27.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
28.参照图1，多无人机辅助无线网络系统具有一个基站(bs)和多个无人机(uav)。集合表示无人机群。集合表示部署在地面上的传感器或iot用户，这些设备允许超出与基站的直接通信范围，通过部署多架无人机在指定区域飞行，并将用户的传感数据收集到bs。每个uav可以直接连接到bs，也可以通过其他uav作为中继，将其信息传回bs。假设每架无人机都配备了一个天线，支持uav与uav的直接通信(即u2u通信)；无人机之间可以通过不同链路上的信道分配，形成不同的网络拓扑结构，即项目中提到的自适应网络成型，该方法可以潜在地减少多跳中继传输的整体传输延迟和能量消耗。此外，随着每个无人机优化并遵循自己的轨迹，多无人机形成的网络结构也随时间变化。所以在本方案中，将网络成型与无人机的轨迹共同优化。
29.参照图2，本发明提供了一种多无人机的自适应网络成型和轨迹优化方法，该方法包括以下步骤：
30.s1、基于启发式方法，根据无人机能量消耗和缓冲状态调整网络成型，得到自适应网络成型策略；
31.给定多无人机的轨迹，多无人机的拓扑结构需要自适应网络成型，这使得问题变成非线性整数规划问题。虽然问题可以通过现有的分支定界方法解决，但由于多无人机和iot用户在不同时隙的数据缓存空间和能量消耗的动态演化，问题具有非常高的计算复杂度。因此，我们提出了一种简单的启发式算法，即能量和延迟感知网络成型(eda-nf)算法，以根据无人机的能量消耗和数据缓存状态调整无人机的网络成型，eda-nf算法的基本思想是平衡不同无人机的能耗和数据队列大小。具体来说，在每个传输子时隙t，第i个无人机(uav-i)向bs报告其当前状态，包括当前位置li(t)，网络成型策略(φ(t),ψk(t))，能耗以及数据缓存区信息。当bs收集到所有无人机的状态信息时，它将调整网络成型策略(φ(t),ψk(t))以平衡无人机的能量消耗和队列大小。bs将在每个时隙t中评估每个uav的成本函数cj(t)。当uav-i的成本函数cj(t)持续增加超过一定阈值时，uav-i尝试开启u2u信道，并以最小成本cj(t)连接邻近的无人机(或直接发送到bs)。同时，bs可以禁用一些其他无人机到uav-i的u2u连接，通过这种方式可以极大的提升无人机的信息传输能力，降低了传输延迟。
32.s2、基于多智能体强化学习(madrl)方法，结合自适应网络成型策略进行多无人机的轨迹联合优化。
33.给定网络成型策略(φ(t),ψk(t))后，剩下的任务便是更新无人机在剩余时间段内的轨迹。由于其动态特性，轨迹优化非常复杂，本方案将路径规划重新表述为马尔可夫决策过程(mdp)，使用无模型的深度强化学习(drl)方法对其进行近似。用元组来表征mdp，其中和代表状态空间和动作空间。r是状态-动作(s
t
,a
t
)对的函数。对于多无人机系统，用s(t)表示对所有uav状态的联合观测，即s(t)＝(s1(t),s2(t),...,sn(t))。类似地，动作为a(t)＝(a1(t),a2(t),...,an(t))。每个无人机的状态si(t)包括它的位置li(t)、网络成型策略(φ(t),ψk(t))、能量状态ei(t)和缓冲区大小di(t)。每个无人机的动作ai(t)包括飞行方向di(t)和速度vi(t)。uav-i在时隙t，s(t)状态下采取行动ai(t)时可以获得自己的奖励ri(s(t),ai(t))。对于多无人机系统，uav-i的奖励也取决于其他无人机的动作，记为a-i
(t)。uav-i的奖励由三部分组成：能量奖励r
i,e
(t)、传输奖励r
i,d
(t)和感知奖励r
i,c
(t)。能量奖励定义为它促使uav-i在每个时隙减少能量消耗。为了减少传输延迟，每架无人机如果尽可能多地转发数据，就会获得奖励。传输奖励r
i,d
(t)指的是从uav-i传输到bs或中继无人机的数据量，即。感知奖励用表示，这部分奖励由uav-i所覆盖范围内iot用户的传感器传输回来的数据决定。然后，我们使用上述奖励定义来逼近原始设计目标。此外，还需要一个惩罚项r
i,p
(t)来确保uav-i与其他无人机之间的最小安全距离。如果||li(t)-lj(t)||≥d
min
约束不成立，我们可以简单地为r
i,p
(t)分配一个较大的惩罚函数值。
34.给定无人机的网络成型策略(φ(t),ψk(t))，无人机需要基于本地观察，通过搜索最佳飞行方向di(t)和移动速度vi(t)来更新轨迹。考虑到系统中有多个无人机，每个无人机的观察不仅取决于自己的动作，还与其他无人机的动作有关。因此可以使用多智能体深度强化学习中的多智能体深度确定性策略梯度算法(maddpg)来学习无人机的轨迹。结合eda-nf算法，训练方法如下，在离线训练阶段，bs收集所有无人机的状态更新并以集中训练
的方式同时训练无人机的critic网络和actor网络。在离线训练后，critic网络和actor网络可以发布给不同的无人机命令，以分散的方式指导单个无人机的决策。
35.使用通过maddpg算法学习到的轨迹，每个uav将遵循其轨迹来接收iot用户的数据，并在下一时隙将其转发给bs或其它无人机。一旦bs收到无人机转发的数据或者状态更新，它将评估每个无人机的代价函数cj(t)。该结果可用于初始化无人机的网络成型策略，如算法1第8-10行所示。网络成型策略矩阵(φ(t),ψk(t))的更新作为maddpg算法的输入，并通过训练输出无人机的轨迹。
36.本方案主要基于以下无人机通信原理实现：
37.1)网络成型与子信道分配
38.我们考虑一个时隙帧结构。在每个时隙，每架uav都可以飞到某个位置，从iot用户那里接收数据，缓存数据，然后卸载到bs。我们假设无人机具有最大缓存容量d
max
用于数据缓存。无人机的状态信息(例如，无人机的位置、数据缓存区大小和网络状态)也可以在卸载阶段更新到bs。无人机的信道描述如下：
39.iot用户-to-uav(i2u通信)：i2u信道用于每个无人机从其信号覆盖范围内的iot设备收集传感数据。我们假设从iot设备到bs的直连信道不可用。无人机将以规划好的轨迹来收集地面传感器的数据。
40.uav-to-bs(u2b通信)：每架无人机都可以通过u2b信道向bs报告其数据。我们假设u2b传输依赖于所有uav共享的专用蜂窝信道。u2b信道上的数据速率取决于无人机的位置和信道条件。
41.uav-to-uav(u2u通信)：如果一些无人机远离bs，我们允许它们通过u2u通道与附近的无人机连接。通过多跳中继，可以将所有物联网用户的感知数据转发给基站。因此无人机的网络成型也与整体延迟性能有关。
42.用和表示分别在t时隙中使用u2b和u2u通道转发传感数据的无人机集合。全体无人机集合则用表示，即每个uav要么与bs连接，要么与其他uav连接。对于一些距离基站较远的无人机，直连链路可能具有较低的信噪比(snr)和较大的传输延迟，说明持续这种策略会造成更多的悬停时间和更高的能耗。在这种情况下，无人机可以转而使用u2u信道并与集合中的其他无人机连接。
43.考虑到蜂窝系统中信道资源有限，我们假设所有无人机共享个正交子信道。所有子信道的集合表示为。让二进制矩阵表示u2b子信道分配策略，其中表示第k个子信道用于uav-i与u2b信道卸载其数据。类似地，定义二元矩阵作为u2u子信道分配策略，式中表示第t个时间段，uav-i和uav-j之间第k个子信道上的u2u连接，子信道分配受以下资源约束：
[0044][0045]
本项目所发明的路径规划算法适用于每个子信道k，调整式中的(φ(t),ψk(t))两个矩阵，以此来确定每个时间隙t中的无人机网络成型。
[0046]
2)i2u、u2u和u2b的信道模型建立
[0047]
先设所有无人机都以固定高度h飞行，从iot用户处收集传感数据，之后问题表述和解决方案也可以推广到飞行高度随时间变化的情况。每个uav-i的轨迹可以定义为不同时隙上的一组位置点，即每个位置由二维坐标指定，即li(t)＝(xi(t),yi(t))。bs固定在坐标原点处。假定uav-i以有限的速度vi(t)≤v
max
向di(t)方向移动。uav-i在下一时间隙t+1的位置可由下式给出：li(t+1)＝li(t)+vi(t)di(t)。uav-i和uav-j之间的距离表示为下式：
[0048]di,j
(t)＝||li(t)-lj(t)||
[0049]
用hb表示bs天线的高度，我们同样可以得到uav-i与bs之间的距离d
i,0
。给定iot设备在地面上的位置，则它到uav-i的距离由给出。
[0050]
uav和bs之间通常是视距无线传输，因此u2u和u2b信道采用简化的指数信道衰减模型。对于系统中的无人机，当uav-i在子信道上向uav-j传输信息时，在子信道k上的uav-j的接收功率表示为，其中表示uav-i在第k个子信道上的发射功率，β
i,j
是一个由收发器的放大器和天线引起的恒定功率增益。路径损耗取决于收发器之间的距离，αu表示路径损耗常数。如果其它uav-m(m≠i)也在同一个子信道k上传输，则对uav-j的干扰功率由下式给出：
[0051][0052]
因此，从uav-i到uav-j在所有子信道上的传输数据速率可表示为
[0053][0054]
其中表示第k个子信道上的噪声功率。u2b数据速率可以类似地进行定义。每架无人机在飞越地面iot设备时都会收集传感数据，这意味着i2u通信符合视距传输的条件。因此可以用描述u2u和u2b信道相同的方法，近似的表征i2u信道。
[0055]
本方案将问题进行如下建模。对于每个uav-i，时隙可以进一步划分为感知、传输和飞行子时隙，分别用t
i,s
、t
i,o
和t
i,f
分别表示。在感知期间，uav-i接收到的数据si(t)取决于其覆盖范围和i2u的传输速率。令wm(t)表示iot用户中的剩余数据。iot用户m的数据队列可以更新如下：
[0056][0057]
其中[x]
+
表示求最大值操作，即max{0,x},x
i,m
(t)∈{0,1}表示iot用户m到uav-i的通信，s
i,m
(t)≤dm表示uav-j收集到的感知数据量。令表示uav-i覆盖下的用户集，则有以及uav的缓冲区动态可以做如下建模：
[0058][0059]
其中表示来自uav-i的输出数据。oi(t)的第一项o
i,0
(t)是发送到bs的数据，第二项是发送给该无人机的数据。di(t+1)的第三项是从其他无人机接收到的数据。
[0060]
给定任务完成时间t，多无人机的总能量消耗可以表示为其中表示多无人机在不同的子信道下的总能量消耗，于是最小化总能量的问题建模如下
[0061][0062]
解决方法是在前文提到的约束下，优化网络成型策略(φ(t),ψk(t))和二元矩阵这个矩阵指定了每个时隙中的i2u连接策略。所有这些矩阵变量都应该与多无人机的轨迹li联合优化。我们还优化了完成所有用户数据卸载所需的时隙总数t，这样可以简化固定的感知策略；如果给定了无人机的位置，就可以确定i2u关联矩阵x(t)。用di(t)≤d
max and di(t)＝0和wm(0)＝d
m and wm(t)＝0确保所有iot用户的传感数据可以在t时隙后成功卸载到bs。||li(t+1)-li(t)||≤v
max
(t)t
i,f
和||li(t)-lj(t)||≥d
min
中的不等式限制多无人机的飞行速度和距离。实际上，多无人机的发射功率pi远小于无人机悬停和飞行的功耗，在优化问题中可以省略。
[0063]
到此，上文对问题的建模细节、复杂性以及简化思路做出了详细的叙述，本方案提出的两部迭代算法处理上述问题有出色表现。
[0064]
本方案除了多无人机路径进行规划，还加入自适应网络成型，提出了一种两阶段算法来在自适应网络成型和轨迹优化之间进行迭代，实现网络成型与轨迹优化的合作。自适应网络成型基于启发式算法eda-nf，可以用于平衡无人机的能量消耗和数据缓存队列大小。与传统策略相比，本方案设计的算法计算复杂度低，更加高效。并且联合轨迹优化和网络成型使系统更加灵活，允许多无人机根据位置变换，自适应地优化新的网络结构。并且算法对能耗与延时进行优化，降低系统能耗、减少系统延时，使系统投入实际使用成为可能。
[0065]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。