[发明专利]数据处理与挖掘方法

权利要求书

1.一种数据处理与挖掘方法，包括：

获取第一数据；第一数据

对所述第一数据进行处理，获得处理后的第二数据；

基于所述第二数据对机器学习模型进行训练；

基于训练后的机器学习模型，确定新样本数据的预测值。

2.根据权利要求1所述的方法，其中，

获取第一数据的步骤包括：

接收文本数据；

将所述文本数据作为所述第一数据。

3.根据权利要求1所述的方法，其中，

对所述第一数据进行处理，获得处理后的第二数据的步骤包括：

从所述第一数据中提取至少一个特征以及特征对应的特征值；

基于所述提取的特征和特征值，生成样本数据；

基于样本数据，生成第二数据。

4.根据权利要求3所述的方法，还包括：

获取与所述第二数据相关的历史数据，所述历史数据预先存储在第一数据库中，

基于所述提取的特征和特征值，生成样本数据包括：

基于所述历史数据以及所述特征和特征值，生成样本数据。

5.根据权利要求3或4所述的方法，其中，基于样本数据，生成第二数据还包括：

对所述样本数据进行预处理；

基于预处理后的样本数据生成所述第二数据。

6.根据权利要求5所述的方法，所述对所述样本数据进行预处理包括：

分别确定是否对所述至少一个特征中的每个特征的特征值取值进行切分；

当确定为是时，对特征值取值进行切分。

7.根据权利要求6所述的方法，其中，所述分别确定是否对所述至少一个特征中的每个特征的特征值取值进行切分包括：

确定所述特征值取值个数；

基于所述取值个数确定是否对特征值取值进行切分。

8.根据权利要求6或7所述的方法，其中，对特征值取值进行切分包括：

确定特征值所有取值中的一个取值作为第一切分点；

基于所述第一切分点将所述特征值所有取值分为第一取值集合和第二取值集合；

基于所述第一取值集合和第二取值集合对包括该特征的所有样本数据分成第一子样本数据和第二子样本数据。

9.根据权利要求8所述的方法，其中，所述对特征值取值进行切分的步骤还包括：

分别确定是否对所述第一取值集合和第二取值集合进行再次切分；

当确定为是时，确定所述第一取值集合和/或第二取值集合中的子切分点；

基于所述子切分点对所述第一取值集合和/或第二取值集合进行再次切分；

并基于所述子切分点再次切分后的特征值的取值集合对所述第一子样本数据和第二子样本数据进行切分。

10.根据权利要求6或9所述的方法，其中，所述分别确定是否对所述特征值取值进行切分，或所述分别确定是否对所述第一取值集合和第二取值集合进行再次切分均包括：

确定所述样本数据、所述第一子样本数据或第二子样本数据中样本个数；

基于所述样本个数确定是否对所述特征值取值，所述第一取值集合或第二取值集合进行切分。

11.根据权利要求10所述的方法，其中，所述分别确定是否对所述特征值取值进行切分、或分别确定是否对所述第一取值集合和第二取值集合进行再次切分还包括：

计算所述样本数据、所述第一子样本数据或所述第二子样本数据的第一指数增益值；

当所述第一指数增益值小于预设阈值时，不对所述特征值取值、所述第一取值集合或第二取值集合进行再次切分。