[发明专利]安卓系统控件意图识别方法、装置、电子设备及存储介质

权利要求书

1.一种安卓系统控件意图识别方法，包括：

从安卓应用程序APK包中提取控件对应的图像信息和文本信息；

基于第一轻量级神经网络，提取所述图像信息中的图像特征；

基于第二轻量级神经网络，提取所述文本信息中的文本特征；

根据表达式建立所述图像特征和所述文本特征的相关矩阵：其中，f_u为所述图像特征；f_v为所述文本特征；w_C为参数；

根据所述相关矩阵双向更新所述图像特征和所述文本特征；以及

将更新后的图像特征和更新后的文本特征相加，得到联合特征；

根据所述联合特征预测所述控件所属的至少一个意图类别；以及

输出所述至少一个意图类别；

其中，根据所述相关矩阵双向更新所述图像特征和所述文本特征包括：

根据如下表达式更新所述图像特征：

H_u＝tanh(W_uf_u+(W_vf_v)C)

a_u＝softmax(W_hH_u)

根据如下表达式更新所述文本特征：

H_v＝tanh(W_vf_v+(W_uf_u)C)

a_v＝softmax(W_hH_v)

其中，W_u、W_v、W_h均为参数；H_u为通过所述相关矩阵C将所述文本特征f_v转化为图像特征f_u得到的特征矩阵；a_u为每个区域特征向量的权重；为更新后的图像特征；H_v为通过所述相关矩阵C将所述图像特征f_u转化为文本特征f_v得到的特征矩阵；a_v为每个单词特征向量的权重；为更新后的文本特征；M代表所述图像特征f_u的个数；N代表所述文本特征f_v的个数。

2.根据权利要求1所述的方法，其中，从安卓应用程序APK包中提取控件对应的图像信息和文本信息包括：

对所述APK包进行反编译，得到应用的源文件；

对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系；

根据所述映射关系从所述源文件中提取图像信息和文本信息。

3.根据权利要求2所述的方法，其中，所述对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系包括：

对所述源文件进行解析，得到所述应用中控件所包含的图片映射；

对所述源文件中不同分辨率的可绘制对象文件夹下的用户接口控件相关可扩展标记语言xml文件进行解析，获得这些以xml形式保存的控件所包含的图片映射；

对所述源文件进行分析，得到页面维度信息中的手柄Handler；

确定控件、图片、布局文件和Handler之间的关联关系；

使用静态调用图进行辅助分析，获得应用中Handler、敏感函数和敏感权限三者之间的映射关系；

根据所述源文件产生静态调用图，生成包含敏感操作的Handler的调用图，并保存其中的调用关系；以及

对所述关联关系、映射关系以及调用关系进行处理，得到所述应用中所包含图片控件的映射关系。

4.根据权利要求1所述的方法，其中，所述第一轻量级神经网络包括基于移动端神经网络MobileNetV3模型；以及所述第二轻量级神经网络包括双向长短期记忆BiLSTM网络。