[发明专利]融合文本和图像数据的神经网络及其建筑结构的设计方法

说明书

本发明属于土木结构工程与计算机深度学习应用技术领域，特别涉及一种融合文本和图像数据的神经网络及其建筑结构的设计方法。融合文本和图像数据的神经网络中的生成器生成图像，判别器判断图像的真假，生成器包含文本编码和特征提取网络，以获取文本特征矩阵，以及将文本特征矩阵和图像特征矩阵融合，并基于融合特征生成图像的网络。根据待设计建筑结构的语言描述文本和建筑特征元素的像素化图像，采用本发明的融合文本和图像数据的神经网络，完成建筑结构的设计。本方法根据建筑设计图像和结构基本设计属性文本，快速输出对应的结构设计，实现图像和文本多模态数据融合指导下的自动化建筑结构设计。

技术领域

本发明属于土木结构工程与计算机深度学习应用技术领域，特别涉及一种融合文本和图像数据的神经网络及其建筑结构的设计方法。

背景技术

工程师在建筑结构初步设计阶段，需要考虑建筑布置的需求、结构设计基本设计规范文本的约束、以及常用结构设计经验文本的指导。目前依靠人工的结构设计往往难以综合考虑建筑布置、设计规范和经验的约束，且结构设计自动化、智能化程度不足，亟需一种综合考虑图像和文本数据约束的自动化结构初步设计方法。

但是，建筑布置图像数据与基本结构设计条件文本数据的格式完全不同，数字化的图像为三维矩阵，而数字化的文本为一维向量；且图像与文本的隐含特征差异显著，建筑图像特征限制了结构的布置范围，文本特征则指导结构的可能布置方案。这些差异导致了建筑图像与设计条件文本难以直接融合并生成对应的结构设计方案。同时，采用机器学习方法开展结构设计面临显著的小样本训练难题，导致广泛应用的大型深度神经网络无法得到充分训练，难以应用于工程结构设计中。因此，图像文本数据融合与小样本数据训练的难题，影响了自动化结构设计的发展。

此前，本申请人提出一项相关中国发明专利申请，目前正在审查中。申请号为202010446468.9，发明名称为：基于对抗生成网络的剪力墙结构布置方法和装置。该发明公开了一种基于对抗生成网络的剪力墙结构布置方法和装置：该方法和装置通过对建筑设计图纸中的关键元素(填充墙、门窗洞口)进行特征提取，并将提取的特征采用颜色填充形成建筑设计特征图像，将该图像输入生成对抗网络中，该网络输出得到建筑结构设计图像。该发明的缺点是无法考虑建筑结构设计过程中，不同结构设计属性的文本约束对结构设计结果的影响，且该方法进行生成对抗网络训练时需要对数据分组，导致训练数据减少，降低了生成对抗网络性能。

发明内容

本发明的目的是提出一种融合文本和图像数据的神经网络及其建筑结构的设计方法，根据建筑平面图纸和建筑结构基本设计属性的文本，快速输出满足图像和文本设计条件约束的结构设计，实现图像和文本多模态数据指导下的自动结构设计。

本发明提出的一种融合文本和图像数据的神经网络，包括生成器和判别器，其中的生成器生成图像，判别器判断图像的真假，生成器包含文本编码和特征提取网络，以获取文本特征矩阵，以及将文本特征矩阵和图像特征矩阵融合，并基于融合特征生成图像的网络。

本发明提出的建筑结构的设计方法，包括以下步骤：

(1)构建和训练一个融合文本和图像数据的神经网络；并开展前述神经网络的性能评估，评估合格后的神经网络可进行应用；

(2)获取待设计建筑结构的语言描述文本，从语言描述文本中抽取待设计建筑结构的关键属性，并对关键属性进行数字化编码，即将关键属性转化为浮点数格式的十进制数字一维向量；

(3)获取待设计建筑结构的建筑特征元素的像素化图像，对像素化图像进行数字化编码，得到一个三维矩阵；

(4)将步骤(2)的编码后的十进制数字一维向量和步骤(3)的三维矩阵输入步骤(1)的融合文本和图像数据的神经网络中，实现图像与文本特征融合，并基于融合后的特征映射生成满足初始设计条件的建筑结构设计，完成建筑结构的设计。

本发明提出的融合文本和图像数据的神经网络及其建筑结构的设计方法，其优点是：