[发明专利]强化学习下的无人机集群雷达通信一体化资源分配方法

说明书

本发明公开了一种强化学习下的无人机集群雷达通信一体化资源分配方法。涉及的资源主要包括波束、频谱、功率等资源。所述内容包括以下步骤：对无人机集群雷达通信系统进行搭建，分为无人机集群和探测目标群体；构建总性能表征指标，总性能表征指标分别由通信和雷达表征指标按比重合成，通信表征指标是通信率，雷达表征指标是互信息；构建强化学习和深度强化学习；构建相应强化学习和深度强化学习算法；对单个资源进行有效分配，对双资源进行有效分配，对多资源进行有效的分配。本发明提供的方法，能更有效的对无人机集群雷达通信一体化系统进行合理的资源分配，提高资源利用率。

技术领域

本发明属于雷达与信号处理技术和人工智能技术领域，尤其涉及一种基于强化学习下的无人机集群雷达通信一体化资源分配方法。

背景技术

近年来，由于单个无人机的作战能力不能完全支持任务的成功完成以及民用商业和军事任务的复杂性和多样化日益加重,再加上任务的类型复杂化和效率要求的提高都促使无人机集群处理任务出现和发展。因此，无人机的应用领域被广泛采用，可应用于民用领域的物流配送、农业植物保护等方面，可用于军事领域的侦察突袭、电子对抗和通信导航。

雷达和通信是无人机的两个主要方向。前者主要用于无人机的协同定位与导航。后者主要指无人机与辅助现有通信之间的通信，如电力应急通信中的无人机通信、基于LTE网络模型的无人机通信、基于模块化能量动态聚类的无人机高效辅助通信。因此，也牵扯到两者任务资源问题。现阶段主要针对雷达任务相对应的资源进行有效的分配，或者对通信任务所对应的资源进行合理的分配。

但是雷达-通信一体化已经列入议程，这两个任务往往需要一起完成。现阶段主要从雷达-通信集成的信息理论、雷达-通信集成的信号处理、雷达-通信集成协议及系统架构设计、分时、空域共享、频谱共享等方面进行研究。雷达-通信综合信息理论主要探讨了雷达通信原有指标的统一，可以更好地衡量感知和通信质量。雷达通信综合信号处理包括综合波形设计、联合发射波束形成和联合信号接收，可以有效地节约频谱资源，但它们的性能会相互影响。雷达通信集成协议和系统架构的设计是为了实现雷达与通信功能之间的不干扰甚至协同传输，设计一种新的传输协议和系统架构。分时是指在不同的时间完成不同的任务，在执行雷达任务时停止通信任务，在执行通信任务时停止雷达任务。该方法虽然设计简单，但适用性较差。空时共享是指使用子波束方法，其中阵列表面因不同目的发生局部故障，包括雷达、通信。适用性较强，但对相互性能影响较大。从频谱共享的角度，根据单目标划分频段，分别建立新的信号模型和性能指标。并且可以解决无线通信设备数量随着5G时代的到来呈爆炸性增长趋势，全球通信行业对无线频谱的需求被迫削减和探索。

现有技术主要针对雷达通信一体化信号的设计,将数字化的通信信息经串并转换分配给各个子载波，用于调制各个子载波上相位编码编码序列相对于原始序列的移位情况。系统采用综合射频前端，雷达和通信信号采用不同的信号处理系统，完成相应的功能。用通信数据控制子载波相位编码移位，以软扩频的方式实现高效的通信传输，通过周期自相关性良好的相位编码序列的随机移位来保证较好的雷达探测性能。虽然提高了频谱利用率，但是雷达和通信之间存在很大的干扰。或者如在传统的OFDM通信雷达一体化方案上提出的一种基于CEOFDM的可提高有效数据传输速率和解决OFDM信号PAPR过高问题的通过通信信息补偿的超分辨雷达通信一体化方案。主要针对通信率的提高而进行频谱资源的合理分配，无法灵活的调控对通信或者雷达任务的侧重。

发明内容

本发明目的在于提供一种强化学习下的无人机集群雷达通信一体化资源分配方法,以解决上述的技术问题。以上的技术问题主要分为两种，第一种是针对雷达通信一体化信号的设计，雷达通信一体化信号的设计既需要满足通信的要求又需要满足雷达的实现。系统采用综合射频前端，雷达和通信信号采用不同的信号处理系统，完成相应的功能。用通信数据控制子载波相位编码移位，以软扩频的方式实现高效的通信传输，通过周期自相关性良好的相位编码序列的随机移位来保证较好的雷达探测性能。虽然提高了频谱利用率，但是雷达和通信之间存在很大的干扰。第二种主要就是分时处理：