[发明专利]一种基于移动通信数据的TB级数据快速检索方法及系统

说明书

本发明涉及一种基于移动通信数据的TB级数据快速检索方法及系统，其方法包括，获取移动通信数据并进行预处理，得到TB级移动通信数据；基于数据分类模型将TB级移动通信数进行分类并存储得到多个类别的移动通信数据集；接收数据检索关键字并进行语义解析，生成数据检索语句；根据数据检索关键字检索出所要查找移动通信数据集，并根据数据检索语句在确定的移动通信数据集中进行查找。本发明将TB级移动通信数据进行分类，并将数据检索关键字进行语义解析得到数据检索语句，根据数据检索关键字进行粗检索，在粗检索结果的基础上根据数据检索语句进行精检索，不仅可以提高检索精度，还能提高减速效率。

技术领域

本发明涉及移动通信领域，具体涉及一种基于移动通信数据的TB级数据快速检索方法及系统。

背景技术

随着互联网技术、通信技术的发展，特别是移动通信和软件技术的发展，为基于移动通信数据引擎的用户分析系统提供了可行性。当前基于移动通信数据进行数据检索，由于数据量极大，达到了TB级，使得数据检索效率降低。

发明内容

本发明所要解决的技术问题是提供一种基于移动通信数据的TB级数据快速检索方法及系统，可以实现快速的数据检索。

本发明解决上述技术问题的技术方案如下：一种基于移动通信数据的TB级数据快速检索方法，包括以下步骤，

S1，获取移动通信数据，并对所述移动通信数据进行预处理，得到预处理后的TB级移动通信数据；

S2，基于数据分类模型将所述TB级移动通信数进行分类并存储，得到多个类别的移动通信数据集；

S3，接收数据检索关键字，并对所述数据检索关键字进行语义解析，生成数据检索语句；

S4，根据所述数据检索关键字检索出所要查找的移动通信数据所属的移动通信数据集，并根据所述数据检索语句在确定的移动通信数据集中进行查找，检索出所要查找的移动通信数据。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述S1具体为，从多个移动通信服务器中获取移动通信数据，并对所述移动通信数据进行数据清洗，得到预处理后的TB级移动通信数据。

进一步，所述S2具体为，

S21，从所述TB级移动通信数据中选取训练集，并从所述训练集中随机抽取初始样本集；

S22，利用所述初始样本集训练原始数据分类模型，得到初始数据分类模型；

S23，利用所述初始数据分类模型在所述训练集中进行抽样，得到抽样样本；

S24，判断所述抽样样本是否符合预设的分类规则；若是，则将所述初始数据分类模型作为最终数据分类模型；若否，则利用所述抽样样本训练所述初始数据分类模型，得到中间数据分类模型；

S25，将所述初始数据分类模型替换成所述中间数据分类模型，重复循环执行所述S23至S24，直至所述抽样样本符合预设的分类规则，且将所述中间数据分类模型作为最终数据分类模型；

S26，利用所述最终数据分类模型对所述TB级移动通信数据进行分类并储存，得到多个类别的移动通信数据集。

进一步，所述原始数据分类模型具体为基于支持向量机的数据分类模型。

基于上述一种基于移动通信数据的TB级数据快速检索方法，本发明还提供一种基于移动通信数据的TB级数据快速检索系统。

一种基于移动通信数据的TB级数据快速检索系统，其特征在于：包括以下模块，

数据获取模块，其用于获取移动通信数据，并对所述移动通信数据进行预处理，得到预处理后的TB级移动通信数据；