[发明专利]代码生成方法、装置、电子设备及可读存储介质

说明书

本发明提供一种代码生成方法、装置、电子设备及可读存储介质，其中方法包括：获取目标前端网页的网页截图及网页截图对应的网页源代码；基于带有注意力机制的卷积神经网络视觉模型，提取网页截图的第一特征，并基于带有注意力机制的语言处理网络模型，提取网页源代码的第二特征；融合第一特征和第二特征，获取融合特征；基于融合特征以及解码模型，生成目标前端网页的代码。本发明通过在图像处理模块和自然语言处理模块中加入注意力机制，并基于此提取网页截图和对应网页源代码的特征并融合，能够仅通过对强相关性的部分词汇和图像局部区域的重点计算，即实现代码的准确有效预测，从而能有效降低运算量并有效提高运算效率和准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种代码生成方法、装置、电子设备及可读存储介质。

背景技术

随着互联网数字化技术的发展，自动化前端技术的开发越来越多的受到人们的关注。自动化前端技术中有个被称为超文本标记语言(Hyper Text Markup Language,HTML)的概念，其是一种标记语言，包括一系列标签，通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML代码组成的描述性文本，它通过超级链接方式将文本中的文字、图表与其他信息媒体相关联。

当前自动化前端技术开发的瓶颈是计算能力，目前利用深度学习技术及合成训练数据探索智能化构建前端技术可以解决上述问题。利用前端页面原型生成对应代码可以极大的缓解前端人员的开发压力，极大简化设计工作流程。

但是，目前在利用深度学习技术进行前端技术开发时，多在网页截图全局和网页源代码全局基础上进行同等运算，运算量大，造成运算效率较低。

发明内容

本发明提供一种代码生成方法、装置、电子设备及可读存储介质，用以解决现有技术运算效率低等问题的缺陷，实现有效提高运算效率的目标。

本发明提供一种代码生成方法，包括：

获取目标前端网页的网页截图以及与所述网页截图对应的网页源代码；

基于带有注意力机制的卷积神经网络视觉模型，提取所述网页截图的第一特征，并基于带有注意力机制的语言处理网络模型，提取所述网页源代码的第二特征；

融合所述第一特征和所述第二特征，获取融合特征；

基于所述融合特征以及解码模型，生成所述目标前端网页的代码。

根据本发明一个实施例的代码生成方法，还包括训练所述带有注意力机制的卷积神经网络视觉模型、所述带有注意力机制的语言处理网络模型以及所述解码模型的步骤：

获取训练样本，并将所述训练样本对应的真实值代码作为所述训练样本的标签标注所述训练样本，所述训练样本包括网页截图样本以及与所述网页截图样本关联的网页源代码样本；

分别在初始卷积神经网络视觉模型和初始语言处理网络模型中加入注意力机制模型，获取初始带有注意力机制的卷积神经网络视觉模型和初始带有注意力机制的语言处理网络模型；

将所述网页截图样本输入所述初始带有注意力机制的卷积神经网络视觉模型，并将所述网页源代码样本输入所述初始带有注意力机制的语言处理网络模型，以基于所述初始解码模型预测前端网页代码；

比对预测的前端网页代码与所述真实值代码，并基于所述比对确定的偏差，迭代更新网络模型参数，以进行循环训练，直至训练完成，获取所述带有注意力机制的卷积神经网络视觉模型、所述带有注意力机制的语言处理网络模型和所述解码模型。

根据本发明一个实施例的代码生成方法，所述获取训练样本，包括：

通过对所述标准训练数据库中的原始数据进行平移、旋转或放缩，获取第一训练样本集；