[发明专利]一种基于行业差异的涉镉企业名录构建系统及构建方法

说明书

本发明涉及一种基于行业差异的涉镉企业名录构建系统及构建方法，该系统包括涉镉行业类型确定模块、爬取模块、补充模块、整合清洗模块和涉镉行业企业名录形成模块；涉镉行业类型确定模块用于确定具体涉镉行业类型；爬取模块用于爬取涉镉企业公开数据信息，并进行格式化处理；补充模块用于以工商企业名录信息网站为补充信息源，结合已确定的涉镉行业类型及检索关键词爬取得到涉镉行业企业补充名录；涉镉企业名录形成模块用于按照统一设定的数据结构实现数据标准化，并结合企业所在地址和网络地图POI信息，获取空间位置缺失涉镉企业初步的经纬度信息，并按照项目统一的空间信息数学基础进行坐标系转换，形成涉镉企业名录。

技术领域

本发明涉及涉镉企业信息处理技术领域，具体涉及一种基于行业差异的涉镉企业名录构建系统及构建方法。

背景技术

现有技术中，涉镉行业企业数据主要源于国家生态环境保护相关职能部门的主动公开，数据准确性及权威性具有一定保证，但由于其数据汇集的方式主要通过逐级汇总上报得到，信息时效性及完整性方面有所不足，漏报、瞒报情况难以完全避免，为此有必要结合网络地理大数据(包括国家企业信用信息公示系统、企查查、天眼查、绿网等商业化信息平台)对部门公开信息进行全面性补充及第三方确认，同时结合网络地图POI信息提取空间坐标缺失企业经纬度信息，实现企业信息的空间化，从而建立更加完备并可快速更新的全国涉镉企业名录。

发明内容

本发明旨在提供一种基于行业差异的涉镉企业名录构建系统及构建方法，所要解决的技术问题包括如何提高涉镉行业企业数据的信息时效性及完整性，以及提高区域范围内各涉镉企业镉排放强度估算的可信度。

为了实现上述目的，本发明提供一种基于行业差异的涉镉企业名录构建系统，包括涉镉行业类型确定模块、爬取模块、补充模块、整合清洗模块和涉镉行业企业名录形成模块；所述的涉镉行业类型确定模块用于确定具体涉镉行业类型；所述的爬取模块用于在确定具体涉镉行业的基础上，爬取国家及地方生态环境保护相关职能部门网上公开的各类有关涉镉企业数据信息，并进行格式化处理；所述的补充模块用于以国家工商征信系统和第三方数据集作为涉镉企业信息网络大数据爬取的数据源，并通过确定的涉镉行业类型及检索关键词爬取得到涉镉行业企业补充名录；所述的整合清洗模块用于基于网络大数据提取的补充数据与经部门公开数据完善的全国涉镉企业名录信息做进一步整合，对整合得到的数据集进行数据的清洗；所述的涉镉企业名录形成模块用于按照统一设定的数据结构实现数据标准化，并结合企业所在地址和网络地图POI信息，获取空间位置缺失涉镉企业初步的经纬度信息，并按照项目统一的空间信息数学基础进行坐标系转换，至此形成初步的具有空间属性的涉镉企业名录。

所述的数据的清洗包括去重、空间位置纠偏和仅有经销业务的无关企业的排除。

所述的数据清洗原则为：首先进行无监督清洗，再进行有监督清洗。

所述的无监督清洗是预先定义好数据清洗算法，由计算机自动执行算法，对数据集进行清洗，然后产生清洗报告。

所述的无监督清洗包括删除经营范围中涉及不包括、不含、不涉及、排除、除去、脱硫、无磷、无铅的企业；删除销售企业，包括企业名称和经营范围中包含销、购、易、出口，同时不包含采、选、加工、生产、冶炼、制造字样的企业。

所述的有监督清洗是在领域专家的指导下，收集分析数据，手工去除明显的噪声数据和重复记录，判断并填补缺值数据。

所述的涉镉行业包括涉镉原料行业和涉镉杂质行业；所述的涉镉原料行业是将镉作为原料之一的生产企业，所述的涉镉杂质行业是在生产过程中镉作为杂质出现的涉镉行业。

所述的涉镉原料行业包括镍镉电池或太阳能电池生产、含镉颜料、塑料、玻璃、陶瓷生产、镉合金制造以及镀镉行业企业。

所述的涉镉杂质行业包括有色金属矿采选和冶炼、钢铁选冶、水泥以及磷肥的生产制造。