[发明专利]安卓系统控件意图识别方法、装置、电子设备及存储介质

说明书

本公开提供了一种安卓系统控件意图识别方法，包括：从安卓应用程序(APK)包中提取控件对应的图像信息和文本信息；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别；以及输出所述至少一个意图类别。对应上述方法，本公开还提供了安卓系统控件意图识别装置、电子设备以及计算机可读存储介质。

技术领域

本公开的一个或多个实施例涉及信息安全技术领域，尤其涉及一种安卓系统控件意图识别方法、装置、电子设备及计算机可读存储介质。

背景技术

在移动终端中，安卓(Android)系统是使用用户群体最为庞大的移动终端操作系统。在对Android系统敏感信息的保护中，分析应用的使用意图是提供精准保护的前提。此外，考虑到安卓系统控件是界面组成的主要元素，也是应用组成的主要元素，因此，在实际的应用中，可以首先对应用中包含的控件的意图进行识别，并将控件的意图识别结果作为对应用使用意图的分析基础，从而实现应用使用意图的精确分析。

发明内容

有鉴于此，本公开一个或多个实施例提出一种安卓系统控件意图识别方法。该方法可以包括：从安卓应用程序(APK)包中提取控件对应的图像信息和文本信息；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别；以及输出所述至少一个意图类别。

其中，所述从APK包中提取控件对应的图像信息和文本信息包括：对所述APK包进行反编译，得到应用的源文件；对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系；根据所述映射关系从所述源文件中提取图像信息和文本信息。

其中，所述对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系包括：对所述源文件进行解析，得到所述应用中控件所包含的图片映射；对所述源文件中不同分辨率的可绘制对象文件夹下的用户接口控件相关可扩展标记语言xml文件进行解析，获得这些以xml形式保存的控件所包含的图片映射；对所述源文件进行分析，得到页面维度信息中的手柄Handler；确定控件、图片、布局文件和Handler之间的关联关系；使用静态调用图进行辅助分析，获得应用中Handler、敏感函数和敏感权限三者之间的映射关系；根据所述源文件产生静态调用图，生成包含敏感操作的Handler的调用图，并保存其中的调用关系；以及对所述关联关系、映射关系以及调用关系进行处理，得到所述应用中所包含图片控件的映射关系。

其中，所述第一轻量级神经网络包括基于移动端神经网络(MobileNetV3)模型；以及所述第二轻量级神经网络包括双向长短期记忆(BiLSTM)网络。

其中，所述将所述图像特征和所述文本特征整合为联合特征包括：依据共同注意机制，将所述图像特征和文本特征整合为所述联合特征。

其中，所述依据共同注意机制，将所述图像特征和文本特征整合为所述联合特征包括：根据图像特征和文本特征之间的相关性建立图像特征和文本特征的相关矩阵；根据所述相关矩阵双向更新图像特征和文本特征；以及将更新后的图像特征和文本特征相加，得到所述联合特征。