[发明专利]特征数据处理方法、终端、装置及可读存储介质

说明书

本发明公开了一种特征数据处理方法，包括以下步骤：对待验证数据集进行分块处理，利用分布式线程、预设的分布式计算公式和预设的似然函数，分别计算各个数据块各自对应的分布值和似然值，基于各个数据块对应的分布值以及似然值确定所述待验证数据集对应的总体分布值及总体似然值，将所述总体分布值和所述总体似然值输入到预设的评分卡方公式，得到卡方值，并基于所述卡方值确定所述待验证数据集中特征数据对应的评价结果。本发明还公开了一种装置、终端及可读存储介质。通过卡方公式计算特征值的卡方值并进行特征数据的评价时，与单机处理相比，本申请的分布式计算方式提升了计算速度，尤其是样本集较大时，进一步提升了特征数据的评价效率。

技术领域

本发明涉及人工智能领域，尤其涉及一种特征数据处理方法、终端、装置及可读存储介质。

背景技术

当前越来越多的领域开始使用机器学习技术，机器学习模型的准确性和鲁棒性至关重要，这需要大量优质数据集进行训练。

由于逻辑回归模型具有良好的可解释，金融风控、医疗模型等要求可解释的场景通常会使用逻辑回归模型建模。训练数据集包括特征值和目标值，其中，特征值的评分卡方值是评价未进入逻辑回归模型的特征的重要量化指标，目前，评分卡方值主要是单机数据处理。然而，单机内存有限，若样本集较大，采用单机确定评分卡方值，会造成评分卡方值的处理速度较慢，从而导致特征数据的处理效率较低。

发明内容

本发明的主要目的在于提供一种特征数据处理方法、终端、装置及可读存储介质，旨在解决样本数量较大时，使用评分卡方值对未进入逻辑回归模型的特征进行评价，评价效率不高的技术问题。

为实现上述目的，本发明提供一种特征数据处理方法，所述的特征数据处理方法包括以下步骤：

对待验证数据集进行分块处理，得到预设数量的数据块；

利用分布式线程、预设的分布式计算公式和预设的似然函数，分别计算各个数据块各自对应的分布值和似然值；

基于所述各个数据块对应的分布值以及似然值确定所述待验证数据集对应的总体分布值及总体似然值；

将所述总体分布值和所述总体似然值输入到预设的评分卡方公式，得到卡方值，并基于所述卡方值确定所述待验证数据集中特征数据对应的评价结果。

进一步地，在一实施方式中，所述对待验证数据集进行分块处理，得到预设数量的数据块的步骤之前，还包括：

将预设的样本集输入预测模型，生成所述样本集对应的预测概率；

将所述样本集和所述预测概率作为所述待验证数据集。

进一步地，在一实施方式中，所述利用分布式线程、预设的分布式计算公式和预设的似然函数，分别计算各个数据块各自对应的分布值和似然值的步骤包括：

利用所述分布式线程分别获取各个数据块中数据对，并将所述数据对输入所述分布式计算公式和所述似然函数，得到各个数据块各自对应的分布值和似然值，其中，所述数据对为所述待验证数据集中的特征数据、目标数据和预测概率的组合。

进一步地，在一实施方式中，所述数据块包括多组数据对，所述将所述数据对输入所述分布式计算公式和所述似然函数，得到各个数据块各自对应的分布值和似然值的步骤包括：

将数据块的所有数据对输入所述分布式计算公式，得到各个数据对各自对应的子分布值，并分别累加各个数据块内所有数据对对应的子分布值，得到各个数据块各自对应的分布值；

将数据块的所有数据对输入所述似然函数，得到各个数据对各自对应的子似然值，并分别累加各个数据块内所有数据对对应的子似然值，得到各个数据块各自对应的似然值；

进一步地，在一实施方式中，所述将所述总体分布值和总体似然值输入到预设的评分卡方公式，得到预测评分的步骤包括：