[发明专利]基于预测建模技术的搜索系统及方法

说明书

技术领域

本发明属于建模、搜索技术领域，涉及基于预测建模技术的搜索系统及方法。

背景技术

搜索方法是为了实现搜索方案中的搜索目标所采用的具体操作方法和手段的总称。传统的搜索方法包括顺查法、倒查法、抽查法、追溯法、分段法、浏览法，不管是哪种搜索方法，都是围绕课题搜索出大量的历史数据，进行逐次辨别取舍，从中查找出课题所需要的数据。

这种传统的搜索系统及方法有以下不足之处：

首先就是搜索出来的是海量数据，数据量大,查询速度慢；

数据包括各种残缺数据、错误数据、重复数据等，导致定性查询结果准确度差；

为了解决传统的搜索方法的不足，本发明拟提出基于预测建模技术的搜索系统及方法。

发明内容

为了解决传统搜索系统及方法查询速度慢，查询结果准确度差的问题，本发明首先提出了一种基于预测建模技术的搜索系统，所述系统包括数据库、数据清洗单元、数据整理单元、建模分析单元、建模测试单元、结果集，其中：

所述数据库与所述数据清洗单元网络连接；

所述数据清洗单元与所述数据整理单元网络连接；

所述数据整理单元与所述建模分析单元网络连接；

所述建模分析单元与所述建模测试单元网络连接；

所述建模测试单元通过模型输出单元与所述结果集网络连接；

所述结果集与所述数据清洗单元网络连接。

进一步地，所述数据清洗单元还包括描述分析单元，所述描述分析单元与所述数据整理单元网络连接。

进一步地，所述结果集包括建模日志单元、建模分析过程单元、数据汇总单元、人为因素单元，各单元都是结果集的数据组成部分。

根据所述系统进行基于预测建模技术的搜索方法，所述方法包括以下步骤：

步骤S1，利用数据采集设备采集第一数据进行程序解析后存放在数据库，所述数据库把所述第一数据送到数据清洗单元；

步骤S2，所述数据清洗单元接收所述第一数据进行数据清洗，丢弃不合格数据，把合格的第二数据通过网络传送到数据整理单元；

步骤S3，所述数据整理单元接收所述第二数据进行数据整理分析，将得到的数据特征通过网络传送到建模分析单元；

步骤S4，所述建模分析单元根据所述数据特征建立数据模型，根据所述数据模型计算出模型的参数值,将该模型的参数值通过网络传到建模测试单元；

步骤S5，所述建模测试单元根据建立模型的参数值进行数据搜索，利用专门的测试模型对搜索的数据进行测试；根据测试的准确度修改建模分析的方法，把测试结果错误的数据返回到所述建模分析单元修正数据模型，把测试结果正确的数据通过模型输出单元送到所述结果集；

步骤S6，所述结果集存储并应用所述第三数据进行事件预测。

进一步地，步骤S2中，所述数据清洗单元清洗数据时，对有特殊需求的数据，可以利用所述数据清洗单元的描述分析单元，加入人为干扰的数据分析规则，分析后把合格的第二数据通过网络传送到所述数据整理单元。

进一步地，所述数据清洗单元清洗数据的方式包括检查数据一致性，处理无效值和缺失值；去除残缺数据、错误数据、重复数据；数据标准化；数据分类。

进一步地，所述数据整理单元进行数据整理分析的方式包括数据整理、数据关联。

进一步地，所述建模分析单元建模的方法主要利用了数据分析法，从大量的观测数据中，利用统计方法建立数学模型。

进一步地，所述结果集存储应用第三数据的方式包括以下步骤：

利用所述建模日志单元记录整个系统工作过程的日志；

利用所述建模过程分析单元记录建模分析过程，用于各个业务部分的具体业务分析；

利用所述人为因素单元记录分析过程中加入的人为的业务需求；

利用所述数据汇总单元汇总最后的所述第三数据。

进一步地，所述结果集，将得到的所述第三数据传送到所述数据清洗单元，进行数据的再次清洗，以修正模型。

本发明的应用获得了非常明显的益处：

配合数据清洗,数据整理，建模分析，建模测试，将海量数据数据量减少；

根据定时任务，比如：Timer，Quartz等，总结数据规律，得出数据模型；

以上两点大大提高了海量数据查询速度、查询结果准确度。

附图说明

图1为实施例1系统工作流程图。

图2为实施例2系统工作流程图。

图3为结果集数据构成图。

具体实施方式