[发明专利]一种数据处理装置及方法

说明书

技术领域

本发明涉及数据处理技术，尤其涉及一种数据处理装置及方法。

背景技术

由于网络的广泛应用，常常需要通过网络向用户推送数据，尤其在电子商务网站。而通过网络向用户推送数据时，一般都是人工通过访问数据源网站，对数据源网站中推送的大量数据进行筛选、分类等处理之后，再将数据进行编辑后推送给用户，如此，不仅造成了人力物力的浪费，而且数据处理效率低下，且常会由于人为失误造成数据处理的准确率不高，从而导致数据推送的效率和准确率也受到影响，并降低了用户体验。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据处理装置及方法，以解决数据推送中数据处理效率低、浪费人力物力、以及准确率不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据处理装置，所述装置包括：

数据抓取模块，用于根据预先配置的抓取规则，进行数据抓取；

数据处理模块，用于根据预先配置的数据转换规则，对所述数据抓取模块所抓取的数据进行处理，得到符合所述数据转换规则的标准数据。

在上述方案中，所述数据抓取模块包括：配置单元和抓取单元，其中，

配置单元，用于配置包含有数据源信息和类型信息的抓取规则；

抓取单元，用于根据所述配置单元配置的数据源信息，找到数据源，并从所述数据源中抓取、类型信息与配置单元所配置的类型信息相一致的数据。

在上述方案中，所述配置单元包含有用于配置抓取规则的配置文件；

所述配置单元，具体用于通过在所述配置文件中写入需抓取数据的数据源信息和类型信息并保存，完成抓取规则的配置；

抓取单元，还用于读取所述配置单元中的配置文件，根据所述配置文件中数据源信息，找到数据源，从所述数据源中抓取类型信息与所述配置文件中的类型信息相一致的数据。

在上述方案中，所述数据源信息为数据源网站的URL；和/或，所述类型信息为数据的品类名称。

在上述方案中，所述配置文件为xml格式的文件。

在上述方案中，所述数据处理模块，还用于生成包含有所述标准数据的标准数据文本，并输出该标准数据文本。

在上述方案中，所述标准数据文本为TXT文本。

本发明还提供了一种数据处理方法，所述方法包括：

根据预先配置的抓取规则，进行数据抓取；

根据预先配置的数据转换规则，对所抓取的数据进行处理，得到符合所述数据转换规则的标准数据。

在上述方案中，在进行数据抓取之前，所述方法还包括：

配置包含有数据源信息和类型信息的抓取规则；

所述进行数据抓取，为：根据所配置的数据源信息，找到数据源，并从所述数据源中抓取类型信息与所配置的类型信息相一致的数据。

在上述方案中，配置包含有数据源信息和类型信息的抓取规则，包括：在用于配置抓取规则的配置文件中写入需抓取数据的数据源信息和需抓取数据的类型信息并保存；

所述进行数据抓取，为：读取所述配置文件，根据所述配置文件中数据源信息，找到数据源，从所述数据源中抓取类型信息与所述配置文件中的类型信息相一致的数据。

在上述方案中，所述得到符合所述数据转换规则的标准数据之后，所述方法还包括：生成包含有所述标准数据的标准数据文本，并输出该标准数据文本。

本发明提供的数据处理装置及方法，根据预先配置的抓取规则进行数据抓取，并对抓取的数据进行数据转换，得到标准数据，能够基于用户的需求进行数据的获取和处理，不需要人工进行数据筛选和处理，大大节省了人工筛选数据的时间成本，提高了工作效率，节省了人力物力，并且还提高了数据处理的准确率。

附图说明

图1为本发明数据处理装置的组成结构示意图；

图2为本发明数据处理方法的实现流程图；

图3为本发明实施例一中数据处理过程的流程示意图；

图4为本发明实施例一中数据处理软件“设置”对话框示意图；

图5为本发明实施例一配置文件对话框示意图；

图6为本发明实施例一中“查看”对话框示意图；

图7为本发明实施例一中进行字段名转换的设置对话框示意图；

图8为本发明实施例一中执行数据处理操作的对话框示意图；

图9为本发明实施例一中输出标准数据文本的导出对话框示意图。

具体实施方式