[发明专利]一种基于3D场景设计的硬件加速系统及方法

权利要求书

1.一种基于3D场景设计的硬件加速系统，其特征在于，包括加速装置、主处理器和主存储器，所述加速装置包括缓存模块、控制器模块、embedding计算模块、PE阵列模块、脉动阵列模块、标量计算模块、激活函数模块和softmax计算模块，所述缓存模块包括输入缓存模块和输出缓存模块；

所述缓存模块包括输入缓存模块和输出缓存模块；

所述控制器模块为整个计算过程提供指令控制；

所述embedding计算模块用于计算给定单词的基于哈希的查找表索引，遍历查找表获取相应的向量，用于将文本中的单词转换成相应的单词嵌入；

所述PE阵列模块包含多个并行的PE阵列，所述PE阵列由多个PE组成二维矩阵；

所述脉动阵列模块由多个PE和多个缓存组成，在计算过程中的输出中间特征值被放到缓存中，并以脉动的方式写入到PE阵列中，用于加速图神经网络中的稀疏和稠密运算和基于attention编码运算；

所述标量计算模块，用于支持池化操作、布局优化算法以及和标量相关的运算；

所述激活函数模块，用于支持包括ReLU和tanh非线性激活函数；

所述softmax计算模块是由整数部分查找表、小数部分查找表和乘法器组成。

2.根据权利要求1所述的一种基于3D场景设计的硬件加速系统，其特征在于，所述输入缓存模块用于存储特征映射、权重和频繁重复使用的数据；所述输出缓存模块用于接收结果数据和中间结果数据。

3.根据权利要求1所述的一种基于3D场景设计的硬件加速系统，其特征在于，所述PE由一个乘法器、一个累加器和一个暂存器组成，所述PE用于执行特征提取运算、神经网络中卷积运算和数据库检索操作。

4.根据权利要求1所述的一种基于3D场景设计的硬件加速系统，其特征在于，所述softmax计算模块用于支持卷积神经网络、基于attention编码运算和图神经网络运算过程中的softmax运算。

5.一种基于3D场景设计的硬件加速方法，其特征在于，包括以下步骤：

步骤1：将待设计的场景图片和设计需求的文本描述存于主存储器中，主处理器载入所述图片和所述文本，执行所述图片和所述文本的预处理操作，将其结果暂存于所述主存储器；

步骤2：将步骤1预处理过的图片和文本数据载入到输入缓存模块中，分别送到PE阵列模块和embedding计算模块执行所述图片和所述文本的特征提取运算，将提取的所述图片和所述文本的特征数据暂存回输入缓存模块中；

步骤3：将步骤2提取的图片和文本特征数据载入到脉动阵列模块和softmax计算模块，执行图片和文本的基于attention的编码运算，将编码后的特征数据暂存在输出缓存模块中；

步骤4：主处理器载入外部知识库和步骤3生成的编码后的特征数据，执行知识库预处理操作，消除冗余，将消除冗余后的外部知识库存于主存储器中；

步骤5：将步骤4生成的消除冗余后的外部知识库载入到输入缓存模块中，将位于输出缓存模块中的步骤3生成的编码特征数据和位于输入缓存模块的步骤4生成的消除冗余后的外部知识库数据送到PE阵列模块执行外部知识库检索操作，检索出相关候选对象并暂存在输出缓存模块中；

步骤6：主处理器载入无向图、步骤3生成的编码特征数据和步骤5检索出的相关候选对象，执行预处理消除冗余，将消除冗余后的无向图存于主存储器中；

步骤7：将步骤6生成的消除冗余后的无向图载入到输入缓存模块中，将位于输出缓存模块的步骤5检索出的相关候选对象和位于输入缓存模块中的步骤6生成的消除冗余后的无向图送到脉动阵列模块和激活函数模块，执行图神经网络操作，生成对象与环境的视觉兼容性预测推荐并存回到输入缓存模块中；

步骤8：将步骤7生成的对象与环境的视觉兼容性预测推荐载入到PE阵列模块和softmax计算模块执行神经网络进行评分，生成场景布局以及相容性分数值并暂存于输出缓存模块中；

步骤9：将步骤8生成的场景组合载入到标量计算模块，执行布局优化，并将布局优化后的场景组合加载到主处理器执行渲染操作，生成最优3D场景设计组合并输出到主存储器中。