[发明专利]一种基于大数据的数据处理方法和装置

说明书

本发明涉及一种基于大数据的数据处理方法和装置，根据数据处理指令获取对应的目标访问地址集，根据目标访问地址集，获取各个页面的页面数据，根据预设的关键字提取机制，提取各个页面数据中存在的关键字，根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类，得到各个页面数据所对应的数据流，对各个页面数据所对应的数据流进行数据处理。本发明提供的基于大数据的数据处理方法能够对与目标用户密切相关的数据进行处理，进而得到的数据处理结果更加符合目标用户的真实需求，很大程度上缩小与目标用户的真实需求之间的差距，提升数据处理的准确性。

技术领域

本发明涉及一种基于大数据的数据处理方法和装置。

背景技术

目前，基于大数据的数据处理和分析方法的应用十分广泛，比如目前主流的基于数据挖掘的推荐引擎APP会对用户的浏览历史进行数据处理，得到用户可能的感兴趣数据，然后向用户推送相关的网页或者产品。但是，目前的数据处理方法的数据处理对象仅仅是用户的浏览关键字，即仅根据用户的浏览关键字数据进行数据处理，数据处理对象比较单薄，进而得到的数据处理结果与用户的真实需求有一定的差异，数据处理的准确性比较差。

发明内容

本发明提供一种基于大数据的数据处理方法和装置，用于解决现有的数据处理方法的数据处理准确性比较差的技术问题。

一种基于大数据的数据处理方法，包括：

获取数据处理指令，所述数据处理指令包括目标用户的目标身份信息；

根据所述数据处理指令，获取与所述目标身份信息相对应的目标访问地址集，其中，所述目标访问地址集包括所述目标用户在预设历史时间段内所访问的各个页面的地址；

根据所述目标访问地址集，获取所述各个页面的页面数据；

根据预设的关键字提取机制，提取各个页面数据中存在的关键字；

根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类，得到各个页面数据所对应的数据流；

对所述各个页面数据所对应的数据流进行数据处理。

进一步地，所述获取数据处理指令之后，所述基于大数据的数据处理方法还包括：

对所述目标身份信息进行身份验证；

若所述目标身份信息验证通过，则根据所述数据处理指令，获取与所述目标身份信息相对应的目标访问地址集。

进一步地，所述目标身份信息包括所述目标用户的目标身份标识、目标密码以及所述目标用户输入的实际数据结合规则；

预设有所述目标用户在注册时存储的身份验证信息，所述身份验证信息为所述目标用户的原始身份标识和原始密码按照随机确定的数据结合规则进行结合所得到的原始结合数据；

相应地，所述对所述目标身份信息进行身份验证具体为：

根据所述实际数据结合规则，对所述目标身份标识和所述目标密码进行结合，得到实际结合数据；

验证所述原始结合数据和所述实际结合数据是否相同，若相同，则身份验证通过，若不同，则身份验证未通过。

进一步地，所述根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类，得到各个页面数据所对应的数据流具体为：

根据预设的关键字分类机制，对各个页面数据中存在的各关键字进行分类；

根据预设的维度与关键字类别的对应关系，获取各关键字类别的维度，并基于各关键字类别的维度，得到各个页面数据所对应的数据流。

进一步地，所述对所述各个页面数据所对应的数据流进行数据处理具体为：