[发明专利]一种大数据传输处理算法

说明书

本发明提供了一种大数据传输处理算法，采用的数据处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能；采用的数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差；采用的加密方法大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性；本发明对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。

技术领域

本发明涉及数据处理技术领域，具体为一种大数据传输处理算法。

背景技术

“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。

随着网络技术和信息技术的发展，各种数据信息得到广泛的应用，但同时也带来了数据安全性的问题。数据信息根据重要程度、隐私性等方面可以分为一般数据和敏感数据，其中敏感数据中可能包含用户的隐私信息、账户信息或其他可能威胁用户数据安全的数据，所以对敏感数据的保护需要更加全面。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种大数据传输处理算法。

技术方案：本发明提供了一种大数据传输处理算法，包括以下步骤：

（1）数据采集器采集数据并保存至本地存储器内；

（2）对采集的数据进行分类，包括：

（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；

（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；

（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；

（3）对分类后的数据进行加密处理，包括：

（31）待加密数据进行数据清洗操作；

（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；

（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；

（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密；

（4）加密后的数据传输至后台服务器，解密后对数据进行提取。

进一步，步骤（22）的预处理包括以下步骤：

（221）对原始数据进行滤波处理，将原始数据分解为趋势性数据和波动数据，保留趋势性数据并去除波动数据；

（222）对趋势性数据进行划分，以获取训练数据集；