[发明专利]一种结构化数据的自适应关系建模方法

说明书

本发明涉及一种结构化数据的自适应关系建模方法，属于人工智能预测技术领域。使用K×o个指数神经元建模结构化数据属性间的特征交互关系，K为注意头的个数，o为每个注意头的指数神经元数目；每个注意头的所有指数神经元共享双线性注意函数权重矩阵W_att；每个注意头的第i个指数神经元y_i表示为动态特征交互权重w_i由公式w_i＝z_i⊙v_i给出，z_i作为门，通过双线性注意对齐得分动态生成，表示为α‑entmax(·)为稀疏softmax，稀疏性随α的增大而增大。对比现有技术，本发明无需输入必须为正，提升了交叉特征建模的有效性；遵循白盒设计，建模过程更加透明；根据输入数据动态并有选择性地建模任意阶的交叉特征，提升了准确性和效率；通过注意权值及门控机制提升了模型全局/局部可解释性。

技术领域

本发明涉及一种数据处理方法，特别涉及一种结构化数据的自适应关系建模方法，属于人工智能学习预测技术领域。

背景技术

迄今为止，大多数企业都依赖结构化数据进行数据存储和预测分析。关系数据库管理系统(RDBMS)已经成为业界采用的主流数据库系统，关系数据库已经成为实际上存储和查询结构化数据的标准，而结构化数据对大多数业务的操作都是至关重要的。结构化数据中往往包含着大量的信息，这些信息往往可以用于进行数据驱动的决策或是识别风险和机会。从数据中提取见解用于决策需要高级分析，尤其是深度学习，它比统计聚合要复杂得多。

深度神经网络(DNNs)在图像、音频和文本数据方面都取得了突破，像CNNs[Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun.2016.Deep residuallearning for image recognition.In Proceedings of the IEEE conference oncomputer vision and pattern recognition.770–778.]和LSTM[Siwei Lai,Liheng Xu,Kang Liu,and Jun Zhao.2015.Recurrent Convolutional Neural Networks for TextClassification.In Proceedings of the Twenty-Ninth AAAI Conference onArtificial Intelligence,.AAAI,2267–2273.]这样的DNNs非常适合于一些特定数据类型，例如，CNNs在图像领域的应用，以及LSTM在序列数据上的应用。使用DNNs的一个主要优势是，DNNs的使用消除了手工特性工程的需要，然而，把DNNs应用到关系表中的结构化数据时，可能不会产生有意义的结果。具体来说，结构化数据的属性值之间存在内在的相关性和依赖性，而这种特性之间的相互作用关系对于预测分析是必不可少的。虽然理论上，只要有足够的数据和容量，DNN可以近似任何目标函数，但传统DNN网络层善于捕获的相互作用是可加性的，因此，要为这样相乘的相互作用建模，就需要过分庞大并且越来越难以理解的模型，这些模型往往由多层叠加而成，层之间还有非线性的激活函数。先前的研究也提出，用DNNs隐式建模这样的交叉特征可能需要大量的隐藏单元，这大大增加了计算成本，并且也使DNNs更加难以解释；如文献Alexandr Andoni,Rina Panigrahy,Gregory Valiant,andLi Zhang.2014.Learning Polynomials with Neural Networks.In Proceedings of the31th International Conference on Machine Learning,ICML.所述。