[发明专利]样本数据处理方法及装置、模型训练方法及设备有效
申请号: | 201910166341.9 | 申请日: | 2019-03-06 |
公开(公告)号: | CN110046247B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 向彪;周俊;李小龙 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉 |
地址: | 英属开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 样本 数据处理 方法 装置 模型 训练 设备 | ||
1.一种用于样本数据扩充处理的方法,所述样本数据包括用户特征数据和标签数据,所述方法包括:
获取样本数据集中的各个样本数据所对应的数据节点之间的关联关系数据,所述关联关系数据用于反映各个数据节点之间的关联关系强度;以及
针对所述样本数据集中的各个非完备样本数据,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的特征数据和/或标签数据,对该非完备样本数据进行数据扩充,
其中,所述非完备样本数据是特征数据存在维度缺失和/或标签数据存在维度缺失的样本数据,
其中,在所述非完备样本数据的标签数据中存在维度缺失时,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的数据节点特征数据和/或标签数据,对该非完备样本数据进行数据扩充包括:
针对该非完备样本数据的标签数据中的各个维度缺失数据,基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的标签数据中的对应维度数据,确定该标签数据的维度缺失数据,
在所述非完备样本数据的特征数据存在维度缺失时,至少部分地基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的数据节点特征数据和/或标签数据,对该非完备样本数据进行数据扩充包括:
针对该非完备样本数据的特征数据中的各个维度缺失数据,基于该非完备样本数据所对应的数据节点与所有关联数据节点之间的关联关系数据以及各个关联数据节点的特征数据中的对应维度数据,确定该数据节点的特征数据的维度缺失数据;以及
将该数据节点的特征数据与所确定出的维度缺失数据进行拼接,以得到该数据节点的经过扩充处理后的特征数据。
2.如权利要求1所述的方法,其中,所述标签数据的维度缺失数据是基于下述公式确定出的:
其中,yi表示数据节点i的标签数据的维度缺失数据,α是传播衰减系数,N(i)表示数据节点i的关联数据节点集合,j表示N(i)中的第j个关联数据节点,aij表示数据节点i与第j个关联数据节点之间的关联关系强度,yj表示数据节点j的标签数据中与缺失维度对应的维度数据,以及di表示数据节点i与集合N(i)中的各个关联数据节点之间的关联关系强度之和。
3.如权利要求1所述的方法,其中,所述特征数据的维度缺失数据是按照以下等式确定出的:
其中,表示数据节点i的维度缺失数据,xn表示数据节点i的特征数据,N(i)表示数据节点i的关联数据节点集合,j表示N(i)中的第j个关联数据节点,aij表示数据节点i与第j个关联数据节点之间的关联关系强度,表示第j个关联数据节点的特征数据中的与缺失维度对应的维度数据,以及di表示数据节点i与集合N(i)中的各个关联数据节点之间的关联关系强度之和,W1是数据节点i的特征数据的加权因子,以及W2是与关联数据节点相关的维度缺失数据的加权因子。
4.一种用于训练模型的方法,包括:
在样本数据集中存在至少一个非完备样本数据时,使用如权利要求1到3中任一所述的方法来对所述至少一个非完备样本数据进行扩充处理;以及
使用经过扩充后的样本数据集来训练模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910166341.9/1.html,转载请声明来源钻瓜专利网。