[发明专利]用于神经网络的注意力特征获取方法、装置及存储介质

权利要求书

1.一种用于神经网络的注意力特征获取方法，其特征在于，包括：

获取输入数据，所述输入数据为图像数据；

识别所述图像数据中各特征点的特征向量，并根据各所述特征向量获得输入特征张量，所述特征点为所述图像数据中的像素点；

对输入特征张量进行第一卷积处理，获得多个基准注意力张量，所述基准注意力张量中的元素为与输入特征张量中各所述特征点对应的基准注意力；

对所述输入特征张量进行第二卷积处理，获得注意力系数张量，所述注意力系数张量中的元素为与所述输入特征张量内各所述特征点对应的基准注意力系数，并且所述注意力系数张量的通道数与所述基准注意力张量的数量相同；

基于所述输入特征张量与各所述基准注意力张量，获得与各基准注意力张量对应的基准特征向量，所述基准特征向量由所述输入特征张量和所述基准注意力张量中对应元素的乘积之和构成；

利用所述注意力系数张量与各所述基准特征向量，得到各所述特征点的注意力特征，所述注意力特征用于表征输入数据中各所述特征点的注意力。

2.根据权利要求1所述的方法，其特征在于，所述对输入特征张量进行第一卷积处理，获得多个基准注意力张量，包括：

利用第一卷积核对所述输入特征张量进行卷积处理，获得各所述基准注意力张量，其中，

所述各基准注意力张量的长度与输入特征张量的长度相同，以及所述基准注意力张量的宽度与输入特征张量的宽度相同。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述输入特征张量进行第二卷积处理，获得注意力系数张量，包括：

利用第二卷积核对所述输入特征张量进行卷积处理，获得各所述注意力系数张量，其中，

所述注意力系数张量的长度与输入特征张量的长度相同，所述注意力系数张量的宽度与输入特征张量的宽度相同。

4.根据权利要求1-2中任意一项所述的方法，其特征在于，所述基于所述输入特征张量与各所述基准注意力张量，获得与各基准注意力张量对应的基准特征向量，包括：

将所述输入特征张量中各特征点对应的特征向量与基准注意力张量中相同特征点的基准注意力相乘，得到针对基准注意力张量中每个特征点的第一乘积；

将针对基准注意力张量中每个特征点的第一乘积加和，获得与基准注意力张量对应的基准特征向量。

5.根据权利要求1-2中任意一项所述的方法，其特征在于，所述利用所述注意力系数张量与各所述基准特征向量，得到各特征点的注意力特征，包括：

分别利用各所述基准特征向量与注意力系数张量相乘，得到针对每个基准特征向量的乘积张量；

将针对各基准特征向量的乘积张量中相同特征点的乘积值相加，得到该特征点的注意力特征。

6.根据权利要求1-2中任意一项所述的方法，其特征在于，所述识别所述图像数据中各特征点的特征向量，并根据各所述特征向量获得输入特征张量，包括：

识别所述输入数据中各特征点的特征向量，并根据各所述特征向量获得中间特征张量；

利用第三卷积核对所述中间特征张量执行第三卷积处理，得到所述输入特征张量，所述输入特征张量的维度与所述中间特征张量的维度相同。

7.根据权利要求1-2中任意一项所述的方法，其特征在于，所述方法还包括：

对由各特征点对应的注意力特征构成的注意力特征张量执行优化处理，所述优化处理包括：归一化处理、降维处理、升维处理中的至少一种。

8.根据权利要求1-2中任意一项所述的方法，其特征在于，所述方法还包括：

将所述输入特征张量和由各特征点对应的注意力特征构成的注意力特征张量输入至残差模块进行加和处理，得到优化的注意力张量，所述优化的注意力特征张量内的元素为针对各特征点的注意力特征张量的优化结果。