[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请实施例提供一种数据处理方法、装置、设备及介质。其中，该数据处理方法可包括：获取历史搜索数据；根据历史搜索数据构建与第一历史搜索字段相对应的第一样本序列；将第一样本序列添加至样本集；采用样本集对词向量模型进行训练，得到训练后的词向量模型。采用本申请实施例能够解决样本数量不足的问题，保证网络模型的训练过程，保证训练后的网络模型的性能。

技术领域

本申请涉及计算机技术领域，具体涉及人工智能领域，尤其涉及一种数据处理方法、一种数据处理装置、一种数据处理设备及一种计算机可读存储介质。

背景技术

在搜索应用场景中，搜索引擎(例如，百度搜索、搜狗搜索、头条搜索等等)发挥着较为重要的作用。搜索引擎主要依赖于网络模型来实现搜索功能。现有技术中，用于训练网络模型的样本数据是基于单个用户的一次或多次完整session(会话)记录来构建的。但实践发现，基于单个用户的session记录来构建样本数据的方式，会受限于session记录的完整性及数量而产生样本数量不足的问题，从而影响网络模型的训练过程，影响训练后的网络模型的性能。

发明内容

本申请实施例提供了一种数据处理方法、装置、设备及介质，能够解决样本数量不足的问题，保证网络模型的训练过程，保证训练后的网络模型的性能。

一方面，本申请实施例提供一种数据处理方法，该方法包括：

获取历史搜索数据，历史搜索数据包括在历史时间段内产生的第一历史搜索字段、基于第一历史搜索字段被触发的N个共现文档的账号数据，以及每个共现文档的触发时间，N为正整数；共现文档是指在与第一历史搜索字段相匹配的一个或多个搜索结果中，被触发的搜索结果；

根据历史搜索数据构建与第一历史搜索字段相对应的第一样本序列，第一样本序列包括按照触发时间的先后顺序依次排列的N个共现文档的账号数据；

将第一样本序列添加至样本集，样本集包括M个样本序列，历史时间段内产生M个历史搜索字段，第一历史搜索字段为M个历史搜索字段中的任一个；样本集中的一个样本与历史时间段内产生的一个历史搜索字段相对应，M为正整数；

采用样本集对词向量模型进行训练，得到训练后的词向量模型。

另一方面，本申请实施例提供一种数据处理装置，该装置包括：

获取单元，用于获取历史搜索数据，历史搜索数据包括在历史时间段内产生的第一历史搜索字段、基于第一历史搜索字段被触发的N个共现文档的账号数据，以及每个共现文档的触发时间，N为正整数；共现文档是指在与第一历史搜索字段相匹配的一个或多个搜索结果中，被触发的搜索结果；

处理单元，用于根据历史搜索数据构建与第一历史搜索字段相对应的第一样本序列，第一样本序列包括按照触发时间的先后顺序依次排列的N个共现文档的账号数据；将第一样本序列添加至样本集，样本集包括M个样本序列，历史时间段内产生M个历史搜索字段，第一历史搜索字段为M个历史搜索字段中的任一个；样本集中的一个样本序列与历史时间段内产生的一个历史搜索字段相对应，M为正整数；以及，采用样本集对词向量模型进行训练，得到训练后的词向量模型。

在一种实施方式中，处理单元，还用于：

响应于携带目标搜索字段的搜索请求，调用训练后的词向量模型对目标搜索字段进行处理，得到目标搜索字段的词向量；

从数据库提取待匹配的第一文档的账号数据，并调用训练后的词向量模型对第一文档的账号数据进行处理，得到第一文档的账号数据对应的词向量；

计算目标搜索字段的词向量与第一文档的账号数据对应的词向量之间的匹配度；

若匹配度高于阈值，则将第一文档确定为与目标搜索字段相匹配的目标文档。

在一种实施方式中，处理单元，还用于：