[发明专利]一种基于结构化数据的预测系统

权利要求书

1.一种基于结构化数据的预测系统，其特征在于，包括预处理模块和预测模块；预处理模块将所述结构化数据元组x的每个属性值转换为嵌入向量表示后输出给预测模块，预测模块使用多个指数神经元基于所述嵌入向量建模所述x的交叉特征，然后将所有所述交叉特征聚合构建所述x的特征向量，最后基于所述特征向量进行分类预测。

2.根据权利要求1所述的系统，其特征在于，所述将属性值转换为嵌入向量表示的过程如下：当所述属性值为数值型时，先根据该属性值域范围缩放到(0,1]区间内，再与预学习的嵌入向量相乘；当所述属性值为分类型时，直接根据其值索引对应预学习的嵌入向量。

3.根据权利要求1或2所述的系统，其特征在于，所述指数神经元的个数为K×o个，其中，K表示注意头的个数，o表示每个注意头的所述指数神经元的数目，K和o都是自然数；每个注意头的所有所述指数神经元共享其双线性注意函数的权重矩阵W_att；

每个注意头的第i个所述指数神经元y_i表示如下：

其中，i，⊙表示哈达玛积，exp(·)函数和相应的指数w_ij按元素应用，e_j表示所述结构化数据第j个属性值对应的嵌入向量，i,j,m,n_e均为自然数，1≤i≤o，1≤j≤m，m表示所述结构化数据属性的个数，n_e表示嵌入大小，表示y_i对e_j求导数，表示y_i对w_ij求导数，diag(·)是对角矩阵函数；表示所述y_i的动态特征交互权重，通过下式获得：

w_i＝z_i⊙v_i；

其中，表示可学习的注意权值向量，z_i作为门，表示注意重校准权重，通过双线性注意对齐得分动态生成，表示如下：

其中，表示可学习的注意查询向量，T表示转置运算，表示双线性注意函数的权重矩阵，α-entmax(·)表示稀疏softmax，稀疏性随α的增大而增大，α为用于控制稀疏性的超参数，

4.根据权利要求3所述的系统，其特征在于，所述聚合为向量拼接。

5.根据权利要求4所述的系统，其特征在于，基于所述特征向量进行分类预测前先通过多层感知器MLP捕获元素的非线性特征交互，并获得编码关系的向量表示h：

其中，n_h表示非线性特征交互尺寸，为自然数；

然后基于所述h进行分类预测。

6.根据权利要求5所述的系统，其特征在于，将所述系统与DNN结合进行目标预测。

7.根据权利要求3-6任一项所述的系统，其特征在于，所述系统还包括存储模块，对所述结构化数据提供底层存储支持，为所述预测模块的训练提供基于DBMS的逻辑表的抽象功能，以及在模型部署后，为具体应用的学习任务提供运行时数据收集、整理、转发至预测模块的功能；所述收集包括训练后的指数神经元参数配置、权重，以及当前预测实例及其权重，所述整理包括统计全局高频交互项、全局属性重要性排名、局部属性重要性排名。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括功能模块，功能模块有预测单元、全局解释单元和局部解释单元组成，预测单元提供输入数据的预测结果输出，全局解释单元对所述具体应用的学习任务的整体逻辑，提供解释性支持，输出每一个属性的标量值，指示其全局重要性，以及所述全局高频交互项；局部解释单元针对单个待预测的样本，提供逐样本的局部性解释支持，输出对应于所述样本的每一个属性的标量值，指示其局部重要性，以及对应于所述样本的交互项。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括应用模块，提供对结构化数据应用的端到端的支持，对系统其它模块的接口提供调度和封装。

10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的一种基于结构化数据的预测系统。