[发明专利]一种基于大数据的海量数据搜索的实现方法

说明书

本发明公开了一种基于大数据的海量数据搜索的实现方法，属于大数据技术领域。本发明的基于大数据的海量数据搜索的实现方法，该方法采集各个网上平台商品数据，对商品数据进行处理，将数据标准化后存入库，将标准化商品数据存入数据库，同时将标准化商品数据存入搭建好的分布式搜索引擎，用户对分布式搜索引擎中的数据进行检索查询，根据查询到的商品数据向数据库请求详细的历史数据。该发明的基于大数据的海量数据搜索的实现方法能，具有很好的推广应用价值。

技术领域

本发明涉及大数据技术领域，具体提供一种基于大数据的海量数据搜索的实现方法。

背景技术

互联网技术的发展给人们的生活带来了极大的便利，在大数据的时代背景下,各行各业百花齐放，百家争鸣，产业门户也来越多，数据的产生随之增加，如何在海量数据面前迅速抓住用户所需要的信息，逐渐被推到科技互联网公司的面前，同时随着公司业务的高速发展以及数据爆炸式的增长，当前公司各平台都有关于搜索方面的需求，但是以前的搜索服务系统由于架构与业务上的设计，不能很好的满足各个业务线的期望。同时，在大数据时代，数据的检索问题，随着数据量的日渐增多，已经是各平台面临的重难点问题，如何在众多历史数据，海量数据面前迅速查询出所需的数据刻不容缓，不能支持对语句级别的搜索，大量业务相关的属性根本无法实现，没有任何搜索相关的指标评价体系，扩展性与维护性特别差，不能保证数据的低冗余，也不能保证检索效率和用户体验。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够保证数据的低冗余，保持数据的一致性，提升检索效率和用户体验的基于大数据的海量数据搜索的实现方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于大数据的海量数据搜索的实现方法，该方法采集各个网上平台商品数据，对商品数据进行处理，将数据标准化后存入库，将标准化商品数据存入数据库，同时将标准化商品数据存入搭建好的分布式搜索引擎，用户对分布式搜索引擎中的数据进行检索查询，根据查询到的商品数据向数据库请求详细的历史数据。

作为优选，该所述的基于大数据的海量数据搜索的实现方法具体包括以下步骤：

S1、采集商品数据，对采集到的商品数据进行处理；

S2、将商品数据进行标准化入库；

S3、将标准化商品数据存入数据库中；

S4、将标准化商品数据存入搭建好的分布式搜索引擎；

S5、向分布式搜索引擎进行检索查询；

S6、根据查询到的商品数据向数据库查询出详细数据。

作为优选，步骤S1中，对商品数据进行清洗、加工。

通过大数据基本的数据处理基本方法，大数据数据质量和数据管理方法，对商品数据进行清洗，加工，然后进行标准化存入库，将我们拿到的数据进行字段创建映射，将数据按照映射字段结构化、标准化处理之后保存到系统数据以便于程序分析处理。

作为优选，步骤S2中，自定义生成商品唯一ID后，将商品数据标准化入库。

将标准的数据自定义生成商品唯一RowKey(ID)存入HBase，同时通过Observer同步进入ES索引库，通过系统展示给用户群体使用，用户通过输入检索条件在ES数据库中查询出多条符合条件的数据，这些数据都是经过系统框架处理过的，利用Observer同步进入ES索引库的非全部数据，为将来用户在Hbase查询海量数据做准备。

作为优选，步骤S3中，将标准化商品数据存入Hbase数据库中，其中Hbase存储详情的商品数据。

作为优选，步骤S4中，通过LOGSTAH数据转储工具，将标准化商品数据存入搭建好的分布式搜索引擎，其中分布式搜索引擎只存储数据检索条件对应的字段。