[发明专利]用于大数据清洗的异常检测和消除的方法

摘要

本发明公开了一种用于大数据清洗的异常检测和消除的方法，首先构建用于大数据分析的数据挖掘平台，其包括配置给会员的连接在电信网络上的手机、智能终端和电信网络服务器，其中手机、智能终端和电信网络服务器之间通过电信网络建立通信连接，而互联网通过接入网关或升级的接入侧设备与所述电信网络连接，互联网内包含有邮件服务器，前台处理终端和后台服务器连接在所述电信网络或者互联网上。结合其余方法兼具语音识别回应、文本抓取优化、多形态数据跨库比对互通这样的功能，是一款集成多格式辨别、高速自动化处理、多样数据适配功能的智能挖掘方式。

主权项

1.一种用于大数据清洗的异常检测和消除的方法，其特征在于用于大数据清洗的异常检测和消除的方法，具体如下：首先构建用于大数据分析的数据挖掘平台，其包括配置给会员的连接在电信网络上的手机、智能终端和电信网络服务器，其中手机、智能终端和电信网络服务器之间通过电信网络建立通信连接，而互联网通过接入网关或升级的接入侧设备与所述电信网络连接，互联网内包含有邮件服务器，前台处理终端和后台服务器连接在所述电信网络或者互联网上，另外所述前台处理终端内包括有智能语音识别模块、ETL模块、TTS语音合成模块、模拟机器人控制模块、邮箱域名逻辑判断及检测模块、会员信息和机器人模拟发送系统，所述会员信息包括会员ID、会员手机号码、会员的声音特征样本、会员的邮箱域名和会员通讯地址，所述后台服务器上具有包含地理信息的数据库、邮箱域名数据库、邮编数据库、所有会员的会员ID、会员手机号码、会员的声音特征样本、会员的邮箱域名和会员通讯地址，所述地理信息包括有地理属性的词库、核心地理信息、以及过去出现过的反映错误地理信息的词条，另外地理信息还包括过去出现过的反映错误地理信息的词条所对应的正确的地址、在表达同一地址的若干数据所构成的同义数据之间建立起的映射关系，过去出现过的错误的邮件地址；所述邮箱域名数据库中包括有过去出现过的错误的邮件地址和与之对应的正确的邮件地址；当会员通过智能终端对前台处理终端发送信息来时，所述前台处理终端自动运行ETL模块来提取有效信息，若提取出的有效信息中包括有地址信息，就启动模拟机器人控制模块进行地址标准化处理和地址清洗，所述地址标准化处理就是把地址信息用地址信息中的地址所在省、市、区或者县、街道以及门牌号来表示，所述地址清洗就是把标准化处理的地址信息发送到所述后台服务器中，若标准化处理的地址信息中带有同义数据，后台服务器就通过在表达同一地址的若干数据所构成的同义数据之间建立起的映射关系中判定出同义数据，若标准化处理的地址信息和包含地理信息的数据库中的过去出现过的反映错误地理信息的词条存在一致的，就把标准化处理的地址信息纠正为与之一致的过去出现过的反映错误地理信息的词条所对应的正确的地址，另外还结合邮编数据库把标准化处理的地址信息对应的邮编查询出来，并把标准化处理的地址信息及其对应的邮编返回前台处理终端；若提取出的有效信息中包括有邮件地址，就用邮箱域名逻辑判断及检测模块进行对邮件地址的格式进行检测，如果邮件地址存在格式错误，就改正成正确格式，然后启动机器人模拟发送系统把邮件地址发送到后台服务器中，邮件地址若同邮箱域名数据库中的过去出现过的错误的邮件地址有相一致的，就替换成和与之该过去出现过的错误的邮件地址对应的正确的邮件地址，然后把正确的邮件地址返回前台处理终端；另外在有效信息中包括有会员ID和会员手机号码时，在所述把标准化处理的地址信息发送到所述后台服务器中时，同步还能把所述会员ID和会员手机号码发送到所述后台服务器中，并且还能够进行把标准化处理的地址信息和所有会员的会员通讯地址进行对比，如果没有相匹配的会员通讯地址，就对前台处理终端发出请求来启动智能语音交互核对功能来进行通讯地址核对；另外在有效信息中包括有会员ID和会员手机号码时，在所述把邮件地址发送到所述后台服务器中时，同步还能把所述会员ID和会员手机号码发送到所述后台服务器中，并且还能够进行把邮件地址和所有会员的会员的邮箱域名进行对比，如果没有相匹配的会员的邮箱域名，就对前台处理终端发出请求来启动智能语音交互核对功能来进行邮箱核对。