[发明专利]一种结构化数据的自适应关系建模方法

权利要求书

1.一种结构化数据的自适应关系建模方法，其特征在于，包括以下内容：

使用K×o个指数神经元建模所述结构化数据属性间的特征交互关系，其中，K表示注意头的个数，o表示每个注意头的所述指数神经元的数目，K和o都是自然数；每个注意头的所有所述指数神经元共享双线性注意函数φ_att的权重矩阵W_att；

每个注意头的第i个所述指数神经元y_i表示如下：

其中，i，⊙表示哈达玛积，exp(·)函数和相应的指数w_ij按元素应用，e_j表示所述结构化数据第j个属性值对应的嵌入向量，i，j，m，n_e均为自然数，1≤i≤o，1≤j≤m，m表示所述结构化数据属性的个数，n_e表示嵌入大小，表示y_i对e_j求导数，表示y_i对w_ij求导数，diag(·)是对角矩阵函数；表示所述y_i的动态特征交互权重，通过下式获得：

w_t＝z_i⊙v_i；

其中，表示可学习的注意权值向量，z_i作为门，表示注意重校准权重，通过双线性注意对齐得分动态生成，表示如下：

其中，表示注意查询向量，T表示转置运算，表示双线性注意函数的权重矩阵，α-entmax(·)表示稀疏softmax，稀疏性随α的增大而增大，α为用于控制稀疏性的超参数，

2.根据权利要求1所述的方法，其特征在于，所述α的取值范围在[1.7，2.0]范围内。

3.根据权利要求1或2所述的方法，其特征在于，所述n_e＝35。

4.根据权利要求3所述的方法，其特征在于，所述K和o均为2^l，其中l≥0，l为整数。

5.一种电子设备，其特征在于，所述电子设备包括z

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一权利要求1-4所述的方法。

6.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述任一权利要求1-4所述的方法。

7.一种计算机程序产品，其特征在于，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述任一权利要求1-4所述的方法。