[发明专利]一种针对企业官网的数据清洗、整合方法及系统

权利要求书

1.一种针对企业官网的数据清洗、整合方法，其特征在于，包括如下步骤：

步骤S1，获取用户输入的企业名称，根据所述企业名称调用搜索引擎进行搜索，收集多条记录，并取得返回的网址链接页面；

步骤S2，对返回的网址链接页面进行分析，并根据该网页符合的条件对其进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；

步骤S3，计算所述步骤S2中的多个文本中重复出现的词汇频率，并与预先搜集的语料库的词汇进行比较，提取出在给定文本中出现频率高且在所述语料库中出现频率低的词汇，将该词汇作为公司关键词；

步骤S4，根据所述公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。

2.如权利要求1所述的针对企业官网的数据清洗、整合方法，其特征在于，包括如下步骤：在所述步骤S2中，所述根据该网页符合的条件对其进行评分，包括如下步骤：

1)页面中存在被HTML标签包围、并且有超链接的词汇“关于我们”，则对该网页加分；

2)如果存在“联系我们”则加分；

3)如果存在“公司介绍”或“公司简介”则加分；

4)如果存在“产品介绍”或“产品简介”加分。

3.如权利要求1所述的针对企业官网的数据清洗、整合方法，其特征在于，在所述步骤S4中，所述对该搜索结果进行趋势分析，包括如下步骤：

根据搜索结果判断，在预设时段内，对企业关键词的搜索趋势递减，则判断该公司技术成熟度设定为趋向成熟；

在预设时段内，对企业关键词的搜索趋势递增或平衡，则判断该公司技术成熟度设定为尚在研究。

4.一种针对企业官网的数据清洗、整合系统，其特征在于，包括：企业名称搜索模块、网页分析及评分模块、关键词生成模块和趋势判定模块，其中，

所述企业名称搜索模块用于获取用户输入的企业名称，根据所述企业名称调用搜索引擎进行搜索，收集多条记录，并取得返回的网址链接页面；

所述网页分析及评分模块用于对返回的网址链接页面进行分析，并根据该网页符合的条件对其进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；

所述关键词生成模块用于计算多个文本中重复出现的词汇频率，并与预先搜集的语料库的词汇进行比较，提取出在给定文本中出现频率高且在所述语料库中出现频率低的词汇，将该词汇作为公司关键词；

所述趋势判定模块用于据所述公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。

5.如权利要求4所述的针对企业官网的针对企业官网的数据清洗、整合系统，其特征在于，所述网页分析及评分模块根据该网页符合的条件对其进行评分，包括：

1)页面中存在被HTML标签包围、并且有超链接的词汇“关于我们”，则对该网页加分；

2)如果存在“联系我们”则加分；

3)如果存在“公司介绍”或“公司简介”则加分；

4)如果存在“产品介绍”或“产品简介”加分。

6.如权利要求4所述的针对企业官网的数据清洗、整合系统，其特征在于，所述趋势判定模块对该搜索结果进行趋势分析，包括如下步骤：

根据搜索结果判断，在预设时段内，对企业关键词的搜索趋势递减，则判断该公司技术成熟度设定为趋向成熟；

在预设时段内，对企业关键词的搜索趋势递增或平衡，则判断该公司技术成熟度设定为尚在研究。