[发明专利]大规模非结构化数据提取方法、其系统、分布式数据管理平台

权利要求书

1.一种大规模非结构化数据提取方法，其特征在于，所述方法包括：

获取若干非结构化数据对象，并将所述非结构化数据对象的特征抽象为属性；

使用所述非结构话数据对象的所有属性对应的多维向量表示所述非结构化数据对象；

将所述多维向量作为卷积神经网络输入的基本单元；

通过卷积神经网络的卷积层学习所述训练数据的局部属性；

通过卷积神经网络的池化层将所述局部属性进行统计操作，获得第二特征向量；

将所述第二特征向量输入所述卷积神经网络的全连接层，利用分类器获得非结构化数据分类结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：训练所述卷积神经网络；

所述训练所述卷积神经网络具体包括：

设卷积神经网络中可训练参数为：θ＝(W¹,W²)，其中W¹为卷积核的参数，应用如下优化目标函数：

J(θ)=Σi=1Tlog p(O(i)|x(i),θ)]]>

其中，T为训练的样本数量；

构建p(i|x,θ)作为似然函数，在给定x,θ的情况下，输出提取的数据的属性类别为i的概率通过如下算式计算：

p(i|x,θ)=eOi/Σk=1leOk]]>

使用梯度下降的方法求解可训练参数，W¹，W²的值随机初始化，通过向后传播算法求导。

3.根据权利要求1所述的方法，其特征在于，所述通过卷积神经网络的卷积层学习所述训练数据的局部属性，具体包括：

通过若干个长度与所述多维向量的维度相同的卷积单元学习所述非结构对象的属性特征；

其中，卷积过程通过如下算式表示：

c_i＝f(W¹d_i+b),i＝1,2,...,n

其中，W¹表示卷积单元的权重，b表示其偏移量，f为非线性激活函数；

对输入的所有多维向量均进行所述卷积过程，获得第一特征向量；所述第一特征向量为：c＝[c₁,c₂,...,c_i,...,c_n]。

4.根据权利要求3所述的方法，其特征在于，所述通过卷积神经网络的池化层将所述局部属性进行统计操作，获得第二特征向量，具体包括：

进行最大池化操作，获取所述第一特征向量的特征值，所述特征值为：

对每个卷积单元均执行所述最大池化操作并将各个卷积单元的特征值连接生成第二特征向量；所述第二特征向量为：