[发明专利]一种ICV网络中物理层安全资源分配方法

说明书

一种ICV网络中物理层安全资源分配方法，解决了现有分配方式不能优化V2V时延的问题，属于无线通信技术领域。本发明包括：S1、每个V2V链路中的发送车辆为一个智能体，智能体采用深度强化学习网络实现，包括训练后的目标网络和实时网络，目标网络用于对实时网络的参数进行更新；S2、每个智能体得到环境的局部观测，包括合法、干扰和窃听信道的信息、发送载荷、时延限制、目标网络的训练迭代次数和探索利用概率；S3、每个智能体根据局部观测利用实时网络输出动作，该动作包括发送信号占用的频带和发射功率；S4、所有智能体的目标网络从环境收到同一个奖励，环境进入到下一时刻的全局状态，转入S2，奖励包括系统保密容量和时延限制。

技术领域

本发明涉及一种ICV(Intelligent Connected Vehicle，智能网联车)网络中基于强化学习的资源分配方法，属于无线通信技术领域。

背景技术

近些年来，通信技术迅速发展，5G第一阶段已经在3GPP R15中被冻结，其中，包括V2X(Vehicle to Everything，车与外界的信息交换)在内的车联网技术成为5G的研究重点，车联网成为5G的主要应用场景之一。中国采用基于LTE和5G的V2X通信技术在近些年成为智能交通系统的主要技术，V2V(Vehicle-to-Vehicle，车-车通信)技术具有更广泛的通信范围，更低的延迟和更高的传输速率，能够适应各种应用场景。

V2X包括V2I(Vehicle-to-Infrastructure，车-基础设施通信)和V2V等，其中车辆到基站的V2I链路主要传递高速率的娱乐、视频等业务，车辆到车辆的V2V链路主要传递低速率低时延的道路、车辆、交通等信息。由于频谱资源的稀缺，允许V2V链路复用V2I链路的频谱资源，可以大幅提高频谱效率。但是会不可避免地引入同频干扰，导致V2V链路和原始V2I链路系统容量的下降，所以有效的无线资源管理方式能够减小由于资源复用带来的负面效果。另外，V2V通信安全是V2V通信中的关键研究领域，传统的方法是在物理层的上层进行加密或鉴权等，这些方法需要占用车辆或BS(Base Station,基站)自身的计算资源，而其加密能力的强弱依赖于其计算能力的强弱，同时随着攻击者计算能力的增强，加密算法极易被破解。近些年来，物理层安全成为通信安全的一个热门研究领域，相比于传统的加密或鉴权技术，能带来额外的保密性能。物理层安全技术利用无线通信的物理层特性提供一种额外的安全保护方案，同时不需要占用大量计算资源，能够在提高系统保密能力的同时减轻用户计算负担。

从资源分配角度看，频谱资源是有限的。在4G的OFDM(Orthogonal FrequencyDivision Multiple,正交频分复用)系统中，V2V链路与V2I链路利用underlay(复用授权频段的频率资源)的方式复用子载波，这使子载波的分配变得更加复杂，而由于子载波的复用，不同类型用户之间的同频干扰使得问题的分析难以简化，也会使用户的系统容量下降。同时，不合理的子载波分配方式也会降低用户的保密容量，造成频谱资源浪费，降低通信系统的保密性能。目前的V2V无线资源分配问题，主要是建立优化模型，采用优化算法来求解。集中式的资源分配需要基站收集信息计算决策后再通知给各个车辆用户，会产生较大的时延。同时，很多问题难以建立确定的数学模型，如时延优化，以及优化问题通常是非凸的，难以求得解析解。传统的资源分配方式没有优化V2V时延，会影响需要极低时延的V2V通信性能。因此，有效的资源分配方式会更好地满足V2V时延要求并极大地提高系统保密性能。

发明内容

针对现有资源分配方式不能优化V2V时延的问题，本发明提供一种ICV网络中物理层安全资源分配方法。

本发明的一种ICV网络中物理层安全资源分配方法，所述方法包括如下步骤：

S1、每个V2V链路中的发送车辆为一个智能体，所述智能体采用深度强化学习网络实现，包括训练后的目标网络和实时网络，目标网络用于对实时网络的参数进行更新；