[发明专利]基于增强学习的室内声源找寻方法、介质、设备和装置

权利要求书

1.一种基于增强学习的室内声源找寻方法，其特征在于，包括以下步骤：

S01，采集环境信息和目标声音信号；

S02，根据所述环境信息和所述目标声音信号，使用经增强学习算法训练后的目标找寻模型生成寻址动作；

S03，根据所述寻址动作驱动移动物体运动至所述目标声音信号对应的目标声源位置。

2.根据权利要求1所述的基于增强学习的室内声源找寻方法，其特征在于，还包括S04，所述S04具体为：获取移动物体是否到达目标声源位置的判断结果，若已到达，则找寻过程结束，若没有到达，则返回S01更新环境信息和目标声音信号，并重新生成寻址动作。

3.根据权利要求1或2所述的基于增强学习的室内声源找寻方法，其特征在于，S02中采用增强学习算法训练生成目标找寻模型具体为：

S201，建立初始找寻模型；

S202，采集环境信息和训练声音信号，并采用初始找寻模型生成寻址动作，根据所述寻址动作驱动移动物体运动至所述训练声音信号对应的训练声源位置；

S203，获取采用预设评价算法对所述移动物体的运动过程进行评价的评价结果，并根据所述评价结果对所述初始找寻模型进行更新；

S204，重复S202-203，直至达到预设训练结束条件，并生成目标找寻模型。

4.根据权利要求3所述的基于增强学习的室内声源找寻方法，其特征在于，S203中，所述预设评价算法具体为：获取所述移动物体运动过程中的运动数据，查询预设的对应关系表，根据所述运动数据所处的区间获取对应的奖惩值；所述运动数据包括当前时刻所述移动物体与训练声源的距离、所述移动物体与障碍物的碰撞次数、所述移动物体的运动时间和所述移动物体的运动步数中的至少一个。

5.根据权利要求4所述的基于增强学习的室内声源找寻方法，其特征在于，所述S204具体为：采集移动后的训练声源发出的训练声音信号以及环境信息，并采用更新后的找寻模型生成寻址动作，然后根据寻址动作驱动移动物体运动至移动后的训练声源位置，并获取采用预设评价方法对本次运动过程进行评价的评价结果，根据所述评价结果再次对所述找寻模型进行更新，重复上述过程直至达到预设训练结束条件，并生成目标找寻模型。

6.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任一项所述的方法。

7.一种基于增强学习的室内声源找寻设备，其特征在于，包括权利要求6所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现如权利要求1-5任一项所述方法的步骤。

8.一种基于增强学习的室内声源找寻装置，其特征在于，包括声音采集模块、环境感知模块、寻址动作生成模块和控制模块，

所述声音采集模块用于采集目标声音信号；

所述环境感知模块用于采集环境信息；

所述寻址动作生成模块用于根据所述环境信息和所述目标声音信号，使用经增强学习算法训练后的目标找寻模型生成寻址动作；

所述控制模块用于根据所述寻址动作驱动移动物体运动至所述目标声音信号对应的目标声源位置。

9.根据权利要求8所述的基于增强学习的室内声源找寻装置，其特征在于，所述寻址动作生成模块包括训练单元和存储单元，所述训练单元具体包括：

模型建立单元，用于建立初始找寻模型；

移动控制单元，用于采集环境信息和训练声音信号，并采用初始找寻模型生成寻址动作，根据寻址动作驱动移动物体运动至所述训练声音信号对应的训练声源位置；

模型优化单元，用于获取采用预设评价算法对所述移动物体的运动过程进行评价的评价结果，根据所述评价结果对所述初始找寻模型进行更新，并采用更新后的找寻模型重复运动过程和评价过程直到达到预设训练结束条件，生成目标找寻模型；

所述存储单元用于存储所述目标找寻模型。

10.根据权利要求9所述的基于增强学习的室内声源找寻装置，其特征在于，所述模型优化单元具体用于采集移动后的训练声源发出的训练声音信号以及环境信息，并采用更新后的找寻模型生成寻址动作，然后根据寻址动作驱动移动物体运动至移动后的训练声源位置，并获取采用预设评价方法对本次运动过程进行评价的评价结果，根据所述评价结果再次对所述找寻模型进行更新，重复上述运动过程和评价过程直至达到预设训练结束条件，并生成目标找寻模型。