[发明专利]一种基于结构化数据的预测系统

说明书

本发明涉及一种基于结构化数据的预测系统，属于人工智能学习预测技术领域，包括预处理模块和预测模块；预处理模块将所述结构化数据元组x的每个属性值转换为嵌入向量表示后输出给预测模块，预测模块使用多个指数神经元基于所述嵌入向量建模所述x的交叉特征，然后将所有所述交叉特征聚合构建所述x的特征向量，最后基于所述特征向量进行分类预测。本发明通过指数神经元建模交叉特征，克服了对数神经元输入必须为正的限制，提高了神经元灵活性及适用场景，提升了交叉特征建模的有效性；多头门控注意力机制能够根据输入数据动态并有选择性地建模任意阶的交叉特征，提升了特征建模的准确性和效率，提供了模型决策的可解释性以及新的见解。

技术领域

本发明涉及一种预测系统，特别涉及一种基于结构化数据的预测系统，属 于人工智能学习预测技术领域。

背景技术

迄今为止，大多数企业都依赖结构化数据进行数据存储和预测分析。关系 数据库管理系统(RDBMS)已经成为业界采用的主流数据库系统，关系数据库已 经成为实际上存储和查询结构化数据的标准，而结构化数据对大多数业务的操 作都是至关重要的。结构化数据中往往包含着大量的信息，这些信息往往可以 用于进行数据驱动的决策或是识别风险和机会。从数据中提取见解用于决策需 要高级分析，尤其是深度学习，它比统计聚合要复杂得多。

形式上，结构化数据指的是可以用表格来表示的数据类型。可以看作是一 个由n行(元组/样本)m列(属性/特征)组成的逻辑表，它是通过选择、投影和连接 等核心关系操作从关系数据库中提取出来的。预测建模是学习依赖属性y对决 定属性x的函数依赖性(预测函数)，即，f∶x→y。其中x通常称为特征向量， y为预测目标。针对结构化数据进行预测的主要挑战实际上是如何通过交叉特 征来建模这些属性之间的依赖关系和相关性，即所谓的特征相互作用。这些交 叉特征通过捕获原始输入特征的相互作用来创建新特征。具体来说，一个交叉 特征可以定义为即输入特征与它们对应的各自相互作用关系权值的 乘积。权重w_i表示第i个特征对交叉特征的贡献；在特征相互作用中，w_i＝0使 对应的特征x_i失效，交叉特征的相互作用阶数则是指其非零交互权值w_i的个数。 这种用于关系建模的交叉特征是结构化数据学习的核心，它使学习模型能够代 表更复杂的功能，而不仅仅是用于预测分析输入特征的简单线性聚合。

现有对数据进行关系建模并用于目标预测的方法主要分为2类：隐式建模 和显式建模。典型的隐式建模方法是深度神经网络(DNNs)，如CNNs、LSTM等。 但DNNs只适用于一些特定数据类型，例如，CNNs在图像领域的应用，以及 LSTM在序列数据上的应用。然而，把DNNs应用到关系表中的结构化数据时， 可能不会产生有意义的结果。具体来说，结构化数据的属性值之间存在内在的 相关性和依赖性，而这种特性之间的相互作用关系对于预测分析是必不可少的。 虽然理论上，只要有足够的数据和容量，DNN可以近似任何目标函数，但传统 DNN网络层善于捕获的相互作用是可加性的，因此，要为这样相乘的相互作用 建模，就需要过分庞大并且越来越难以理解的模型，这些模型往往由多层叠加 而成，层之间还有非线性的激活函数。先前的研究也提出，用DNNs隐式建模 这样的交叉特征可能需要大量的隐藏单元，这大大增加了计算成本，并且也使 DNNs更加难以解释；如文献AlexandrAndoni,Rina Panigrahy,Gregory Valiant,and Li Zhang.2014. Learning Polynomialswith Neural Networks.In Proceedings of the 31th International Conference onMachine Learning,ICML.所述。