[发明专利]融合文本和图像数据的神经网络及其建筑结构的设计方法

权利要求书

1.一种融合文本和图像数据的神经网络，包括生成器和判别器，其特征在于，其中的生成器生成图像，判别器判断图像的真假，生成器包含文本编码和特征提取网络，以获取文本特征矩阵，以及将文本特征矩阵和图像特征矩阵融合，并基于融合特征生成图像的网络；所述的生成器的形成过程包括以下步骤：

(1)设文本中的一行文字代表一类建筑结构设计属性，将每一行文字转化为浮点数格式的十进制数字一维向量；将每一类建筑结构设计属性的一维向量进行自复制，使一维向量扩展为三维矩阵，将该三维矩阵记为初始掩码三维矩阵；

(2)利用残差网络块,从步骤(1)的初始掩码三维矩阵中提取深度特征，利用反卷积神经网络,对深度特征进行上采样扩展得到更大尺寸的三维矩阵，将该三维矩阵记为扩展掩码三维矩阵；

(3)重复上述步骤(1)和步骤(2)，得到与所有建筑结构设计属性类别相对应的多个扩展掩码三维矩阵，将多个扩展掩码三维矩阵进行哈达玛积计算，使不同属性的文字约束进行融合并输出为一个三维矩阵，将该三维矩阵记为融合掩码三维矩阵；

(4)对建筑设计图像进行数字化编码，得到图像三维矩阵，采用卷积神经网络对图像三维矩阵进行特征提取和下采样，得到一个与步骤(3)的融合掩码三维矩阵尺寸相同的图像特征三维矩阵；

(5)对步骤(3)的融合掩码三维矩阵和步骤(4)的图像特征三维矩阵进行哈达玛积计算，实现文字和图像特征的融合，得到一个特征融合三维矩阵；

(6)利用残差网络块和反卷积神经网络，对步骤(5)的特征融合三维矩阵进行特征提取和上采样，映射生成建筑结构设计图像。

2.一种建筑结构的设计方法，其特征在于包括以下步骤：

(1)构建和训练一个如权利要求1所述的融合文本和图像数据的神经网络；并开展前述神经网络的性能评估，评估合格后的神经网络进行应用；

(2)获取待设计建筑结构的语言描述文本，从语言描述文本中抽取待设计建筑结构的关键属性，并对关键属性进行数字化编码，即将关键属性转化为浮点数格式的十进制数字一维向量；

(3)获取待设计建筑结构的建筑特征元素的像素化图像，对像素化图像进行数字化编码，得到一个三维矩阵；

(4)将步骤(2)的编码后的十进制数字一维向量和步骤(3)的三维矩阵输入步骤(1)的融合文本和图像数据的神经网络中，实现图像与文本特征融合，并基于融合后的特征映射生成满足初始设计条件的建筑结构设计，完成建筑结构的设计。