[发明专利]虚拟环境中调度策略的评估方法、装置及设备

权利要求书

1.一种虚拟环境中调度策略的评估方法，其特征在于，所述虚拟环境中包括至少两个虚拟对象以及供所述虚拟对象使用的虚拟资源，所述方法包括：

获取所述虚拟环境的应用程序在运行时产生的帧数据；

提取所述帧数据中与目标虚拟对象对应的目标帧数据，所述目标帧数据是用于生成所述目标虚拟对象对应的目标用户界面的数据；

对所述目标帧数据进行特征提取，得到所述目标虚拟对象在当前局面状态下的状态特征，所述状态特征包括关联虚拟对象和所述虚拟资源的状态，所述关联虚拟对象包括所述目标虚拟对象以及与所述目标虚拟对象具有利益关系的虚拟对象；

获取所述虚拟环境的应用程序在运行时产生的l个历史帧数据，l为正整数；按照预设时间步长抽取所述l个历史帧数据得到q个候选帧数据，q为正整数；对所述q个候选帧数据进行读取，将所述q个候选帧数据中包含攻击类型行为的候选帧数据确定为样本帧数据，得到p个样本帧数据，p为正整数，p≥2，p≤q≤l；

根据所述样本帧数据中的所述目标虚拟对象的行为和状态，计算得到每个所述样本帧数据的即时收益，所述即时收益是所述行为导致所述状态的变化对胜利条件的贡献；对于所述p个样本帧数据中的第i个样本帧数据，根据所述第i个样本帧数据的即时收益和第i+1个样本帧数据的实际回报收益，计算得到所述第i个样本帧数据的实际回报收益，i为正整数，i≤p；

提取所述样本帧数据中与所述目标虚拟对象对应的样本目标帧数据，得到p个样本目标帧数据；对所述p个样本目标帧数据进行特征提取得到每个所述样本目标帧数据的样本状态特征，所述样本状态特征包括全局地图分布特征、所述目标虚拟对象的行为特征和所述关联虚拟对象的参数特征中的至少一种；其中，所述全局地图分布特征用于表征所述关联虚拟对象的所在位置，或所述关联虚拟对象和所述虚拟资源的所在位置；所述目标虚拟对象的行为特征用于表征所述目标虚拟对象的行为；所述关联虚拟对象的参数特征用于表征所述关联虚拟对象的状态；

将每个所述样本状态特征输入原始价值网络预测模型中，得到所述目标虚拟对象执行N种调度策略的样本预期回报收益；对于每组样本数据组，将训练结果与所述样本帧数据的实际回报收益进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本帧数据的实际回报收益之间的误差；根据至少一组所述样本数据组各自对应的计算损失，采用误差反向传播算法训练得到价值网络预测模型；所述价值网络预测模型是用于表示基于所述样本数据组训练得到的预期回报收益规律，所述样本数据组包括：所述样本帧数据和所述样本帧数据对应的实际回报收益；所述训练结果包括所述目标虚拟对象执行所述N种调度策略的样本预期回报收益；

调用所述价值网络预测模型对所述状态特征进行处理，得到所述目标虚拟对象在所述当前局面状态中执行所述N种调度策略的预期回报收益，所述预期回报收益用于表征所述调度策略对在所述虚拟环境中对战的胜利条件的贡献，N为正整数，N≥2，所述调度策略指控制所述目标虚拟对象移动至所述虚拟环境中的移动区域，在所述移动区域执行调度行为的策略。

2.根据权利要求1所述的方法，其特征在于，所述状态特征包括全局地图分布特征、所述目标虚拟对象的行为特征和所述关联虚拟对象的参数特征中的至少一种；

所述全局地图分布特征用于表征所述关联虚拟对象的所在位置，或所述关联虚拟对象和所述虚拟资源的所在位置；

所述目标虚拟对象的行为特征用于表征所述目标虚拟对象的行为；

所述关联虚拟对象的参数特征用于表征所述关联虚拟对象的状态。

3.根据权利要求2所述的方法，其特征在于，所述目标用户界面中还显示有所述虚拟环境的全局缩略地图；

所述对所述目标帧数据进行特征提取，得到所述目标虚拟对象在当前局面状态下的状态特征，包括：

读取所述目标帧数据中所述全局缩略地图的数据，提取得到所述全局地图分布特征。

4.根据权利要求2所述的方法，其特征在于，所述对所述目标帧数据进行特征提取得到所述目标虚拟对象在当前局面状态下的状态特征，包括：

读取所述目标帧数据中所述目标虚拟对象的行为数据，提取得到所述目标虚拟对象的行为特征。