[发明专利]一种基于大数据的数据处理方法和装置

权利要求书

1.一种基于大数据的数据处理方法，其特征在于，包括：

获取数据处理指令，所述数据处理指令包括目标用户的目标身份信息；

根据所述数据处理指令，获取与所述目标身份信息相对应的目标访问地址集，其中，所述目标访问地址集包括所述目标用户在预设历史时间段内所访问的各个页面的地址；

根据所述目标访问地址集，获取所述各个页面的页面数据；

根据预设的关键字提取机制，提取各个页面数据中存在的关键字；

根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类，得到各个页面数据所对应的数据流；

对所述各个页面数据所对应的数据流进行数据处理。

2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述获取数据处理指令之后，所述基于大数据的数据处理方法还包括：

对所述目标身份信息进行身份验证；

若所述目标身份信息验证通过，则根据所述数据处理指令，获取与所述目标身份信息相对应的目标访问地址集。

3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述目标身份信息包括所述目标用户的目标身份标识、目标密码以及所述目标用户输入的实际数据结合规则；

预设有所述目标用户在注册时存储的身份验证信息，所述身份验证信息为所述目标用户的原始身份标识和原始密码按照随机确定的数据结合规则进行结合所得到的原始结合数据；

相应地，所述对所述目标身份信息进行身份验证具体为：

根据所述实际数据结合规则，对所述目标身份标识和所述目标密码进行结合，得到实际结合数据；

验证所述原始结合数据和所述实际结合数据是否相同，若相同，则身份验证通过，若不同，则身份验证未通过。

4.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类，得到各个页面数据所对应的数据流具体为：

根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类；

根据预设的维度与关键字类别的对应关系，获取各关键字类别的维度，并基于各关键字类别的维度，得到各个页面数据所对应的数据流。

5.根据权利要求4所述的基于大数据的数据处理方法，其特征在于，所述对所述各个页面数据所对应的数据流进行数据处理具体为：

根据各个页面数据所对应的数据流，对各数据流进行向量化处理，得到数据流向量；

根据各数据流向量以及预设的聚类分析模型，得到至少一个向量集合，所述向量集合包括至少一个数据流向量；

根据所述聚类分析模型以及所述向量集合，获取处于预设关联度区间之上的第一向量集合；

根据所述第一向量集合，获取目标向量集合；

获取目标数据，所述目标数据为与所述目标向量集合中的数据流向量相对应的数据流。

6.根据权利要求5所述的基于大数据的数据处理方法，其特征在于，所述目标访问地址数据集还包括各个页面所对应的数据标识；

相应地，所述基于大数据的数据处理方法还包括：

获取模板文件，根据模板文件中的待填充区域获取与待填充数据相对应的目标数据标识；

根据所述目标数据标识，以及所述目标访问地址数据集，获取与所述目标数据标识相对应的目标页面，以及所述目标页面的页面数据；

将所述目标页面的页面数据所对应的数据流填充入所述待填充区域中，得到目标文件。