[发明专利]一种基于语义空间投影变换的三维模型在线标注方法与系统

权利要求书

1.一种基于语义空间投影变换的三维模型在线标注方法，其特征在于，包括：

第一步，训练集三维模型的预处理，提取所述训练集三维模型的内容特征向量；

第二步，建立三维模型标注数据库，存储所述内容特征向量和所述三维模型附带的文本标签数据；

第三步，从所述三维模型标注数据库中获取所述内容特征向量，计算所述内容特征向量之间的相似度，以所述训练集三维模型为节点，所述相似度为边，建立训练集三维模型的内容特征相似图；

第四步，从所述文本标签数据中获取文本标签向量，计算标签的相关度，以所述标签为节点，以所述相关度为边，建立训练集的文本标签相关图；

第五步，根据所述内容特征相似图和文本标签相关图，计算三维模型特征正交投影矩阵，得到三维模型的语义特征向量和文本标签的语义特征向量，所述三维模型的语义特征向量和文本标签的语义特征向量构成语义空间，将所述三维模型的语义特征向量和文本标签的语义特征向量存储到所述三维模型标注数据库；

第六步，通过待标注三维模型的预处理，提取所述待标注三维模型的内容特征向量；

第七步，对所述待标注三维模型的内容特征向量进行三维模型特征投影变换，得到待标注的三维模型的语义特征向量，在所述语义空间内计算所述待标注的三维模型的语义特征向量与所述文本标签的语义特征向量之间的相似度，得到所述待标注三维模型的近邻文本标签，所述近邻文本标签作为最终的标注词；

进一步地，所述语义空间的构建方法包括：

建立语义空间优化目标函数：

min A , U { 1 2 Σ i = 1 n Σ j = 1 m [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] + [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] } ]]>，

ATA＝I,Ue1+ATOe2＝0；

其中，为所述训练集三维模型的内容特征向量构成的内容特征矩阵；

{t1,t2,...,tm}为所述文本标签数据的文本标签的集合，用于建立训练集的文本标签相关图；

(1)计算三维模型内容特征相似度矩阵S的规范拉普拉斯矩阵：

L S = D - 1 2 ( D - S ) D - 1 2 , ]]>

其中，D＝diag(D11,...,Dnn)，

(2)计算标签相关矩阵C的规范拉普拉斯矩阵，公式如下：

L C = G - 1 2 ( G - C ) G - 1 2 , ]]>

其中，G＝diag(G11,...,Gmm)，

其中，LS是所述内容特征相似图的规范拉普拉斯相似度矩阵，LC是所述训练集的文本标签相关图的规范拉普拉斯相关度矩阵；

其中，为所述文本标签向量构成的标签矩阵，Yij＝1表示所述内容特征矩阵O中特征向量oj具备文本标签ti，Yij＝0表示所述内容特征矩阵O中特征向量oj不具备文本标签ti；

其中，为文本标签语义特征矩阵，为所述语义空间中第i个文本标签ti的语义特征向量；为三维模型语义特征矩阵，为所述语义空间中第j个三维模型的语义特征向量，所述文本标签的语义特征向量和所述三维模型的语义特征向量构成所述语义空间；

其中，为所述三维模型特征正交投影矩阵；

其中，为在所述语义空间内，所述ui与所述vj的相似度；

其中，为p阶单位矩阵，α、β与γ为参数，

进一步地，所述参数取值为：α＝0.8，β＝0.6，γ＝0.005；

进一步地，所述计算三维模型特征正交投影矩阵A和文本标签语义特征矩阵U的方法包括：

语义空间优化目标函数的拉格朗日函数为：

F ( A , U ) = 1 2 Σ i = 1 m Σ j = 1 n [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] + α 2 t r ( A T OL S O T A ) + β 2 t r ( UL C U T ) + λ 4 t r [ ( A T A - I ) T ( A T A - I ) ] + ζ 2 | | Ue 1 + A T Oe 2 | | 2 ]]>

随机初始化所述三维模型特征正交投影矩阵A和所述文本标签语义特征矩阵U，并初始迭代变量t＝1；

步骤1：计算所述目标函数对于A的导数：

∂ F ∂ A = Σ i = 1 m Σ j = 1 n [ ( Y i j - Y ^ i j ) Y ^ i j / σ 2 + γ ] o j ( A T o j - u i ) T + αOL S O T A + λ A ( A T A - I ) + ζOe 2 ( Ue 1 + A T Oe 2 ) ; ]]>

步骤2：计算所述目标函数对于U的导数：

所述目标函数对于U的每个列向量的导数为：

∂ F ∂ u i = Σ j = 1 n [ ( Y i j - Y ^ i j ) Y ^ i j / σ 2 + γ ] ( u i - A T o j ) + β Σ j = 1 m L j i C u j + ζ ( Ue 1 + A T Oe 2 ) , ]]>

所述目标函数对于U的导数为

步骤3：更新更新η为下降步长；

步骤4：更新所述迭代变量t＝t+1；重复步骤1、步骤2、步骤3，直至所述三维模型特征正交投影矩阵A和文本标签语义特征矩阵U收敛；

其中，λ和ζ为拉格朗日不定乘子；

利用所述三维模型特征正交投影矩阵A对所述训练集三维模型内容特征矩阵进行变换，所述变换为O'＝ATO，将所述三维模型的语义特征向量和所述文本标签的语义特征向量存储到三维模型标注数据库中；

进一步地，所述参数取值为：λ＝ζ＝0.005，下降步长η＝0.005。

2.一种基于语义空间投影变换的三维模型在线标注系统，其特征在于，包括：

训练集三维模型预处理装置，与三维模型标注数据库装置连接，用于提取所述训练集三维模型的内容特征向量和文本标签向量；

所述三维模型标注数据库装置，分别与训练集三维模型预处理装置、训练集的三维模型的内容特征相似图建立装置、训练集的文本标签相关图建立装置、语义空间构建装置和待标注三维模型预处理装置连接，用于存储和读取所述内容特征向量和所述文本标签向量；

所述训练集的三维模型的内容特征相似图建立装置，用于获取所述内容特征向量，计算所述内容特征向量之间相似度，以所述训练集三维模型为节点，所述相似度为边，建立所述训练集的三维模型的内容特征相似图；

所述训练集的文本标签相关图建立装置，用于计算所述训练集中标签的相关度，以所述标签为节点，以所述标签相关度为边，建立所述训练集的文本标签相关图；

所述语义空间构建装置，还与训练集的三维模型的内容特征相似图建立装置、训练集的文本标签相关图建立装置、三维模型标注数据库装置和待标注三维模型在线标注装置连接，计算三维模型特征正交投影矩阵和文本标签的语义特征向量，构建所述语义空间，并将所述语义空间的三维模型的语义特征向量和文本标签的语义特征向量存储到三维模型标注数据库；

待标注三维模型预处理装置，用于对待标注三维模型进行格式转换、归一化处理，并提取所述待标注三维模型的内容特征向量；

所述待标注三维模型在线标注装置，还与所述待标注三维模型预处理装置、三维模型标注数据库装置、语义空间构建装置连接，用于对所述待标注三维模型的内容特征向量进行三维模型特征投影变换，得到所述待标注三维模型的语义特征向量，在语义空间内计算所述三维模型的语义特征向量与所述文本标签的语义特征向量之间的相似度，得到待标注三维模型的近邻文本标签，所述近邻文本标签作为最终的标注词；

进一步地，所述语义空间构建装置包括：

语义空间的目标函数建立单元：

min A , U { 1 2 Σ i = 1 n Σ j = 1 m [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] + [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] } ]]>，

ATA＝I,Ue1+ATOe2＝0

其中，为所述训练集三维模型的内容特征向量构成的内容特征矩阵；

{t1,t2,...,tm}为所述文本标签数据的文本标签的集合，用于建立训练集的文本标签相关图；

(1)计算三维模型内容特征相似度矩阵S的规范拉普拉斯矩阵：

L S = D - 1 2 ( D - S ) D - 1 2 , ]]>

其中，D＝diag(D11,...,Dnn)，

(2)计算标签相关矩阵C的规范拉普拉斯矩阵，公式如下：

L C = G - 1 2 ( G - C ) G - 1 2 , ]]>

其中，G＝diag(G11,...,Gmm)，

其中，LS是所述内容特征相似图的规范拉普拉斯相似度矩阵，LC是所述训练集的文本标签相关图的规范拉普拉斯相关度矩阵；

其中，为所述文本标签向量构成的标签矩阵，Yij＝1表示所述内容特征矩阵O中特征向量oj具备文本标签ti，Yij＝0表示所述内容特征矩阵O中特征向量oj不具备文本标签ti；

其中，为文本标签语义特征矩阵，为所述语义空间中第i个文本标签ti的语义特征向量；为三维模型语义特征矩阵，为所述语义空间中第j个三维模型的语义特征向量，所述文本标签的语义特征向量和所述三维模型的语义特征向量构成所述语义空间；

其中，为所述三维模型特征正交投影矩阵；

其中，为在所述语义空间内，所述ui与所述vj的相似度；

其中，为p阶单位矩阵，α、β与γ为参数，

语义空间求解单元，与所述语义空间的目标函数建立单元连接，用于计算三维模型特征正交投影矩阵A和文本标签语义特征矩阵U；

语义空间变换单元，与所述语义空间求解单元连接，利用所述三维模型特征正交投影矩阵A对所述内容特征矩阵进行变换，生成所述三维模型的语义特征向量，所述变换为O'＝ATO；

进一步地，所述参数取值为：α＝0.8,β＝0.6，γ＝0.005；

进一步地，所述语义空间求解单元包括：

初始化模块，语义空间优化目标函数的拉格朗日函数为：

F ( A , U ) = 1 2 Σ i = 1 m Σ j = 1 n [ ( Y i j - Y ^ i j ) 2 + γ | | u i - A T o j | | 2 ] + α 2 t r ( A T OL S O T A ) + β 2 t r ( UL C U T ) + λ 4 t r [ ( A T A - I ) T ( A T A - I ) ] + ζ 2 | | Ue 1 + A T Oe 2 | | 2 ; ]]>

其中，λ和ζ为参数，随机初始化所述三维模型特征正交投影矩阵A和所述文本标签语义特征矩阵U，并初始迭代变量t＝1；

第一导数模块，与所述初始化模块连接，用于计算所述目标函数对于A的导数：

∂ F ∂ A = Σ i = 1 m Σ j = 1 n [ ( Y i j - Y ^ i j ) Y ^ i j / σ 2 + γ ] o j ( A T o j - u i ) T + αOL S O T A + λ A ( A T A - I ) + ζOe 2 ( Ue 1 + A T Oe 2 ) ; ]]>

第二导数模块，与所述初始化模块连接，用于计算所述目标函数对于U的导数：

所述目标函数对于U的每个列向量的导数为：

∂ F ∂ u i = Σ j = 1 n [ ( Y i j - Y ^ i j ) Y ^ i j / σ 2 + γ ] ( u i - A T o j ) + β Σ j = 1 m L j i C u j + ζ ( Ue 1 + A T Oe 2 ) ; ]]>

所述目标函数对于U的导数为

变量更新模块，分别与所述第一导数模块和所述第二导数模块连接，用于更新更新更新所述迭代变量t＝t+1，η为下降步长；

迭代模块，分别与所述变量更新模块和所述第一导数模块连接，重复所述第一导数模块、所述第二导数模块和所述变量更新模块的迭代计算，直至所述三维模型特征正交投影矩阵A和文本标签语义特征矩阵U收敛；

进一步地，所述参数取值为：λ＝ζ＝0.005，下降步长η＝0.005。