[发明专利]一种流式密集型数据脱敏方法及其数据脱敏设备

说明书

本发明公开了一种流式密集型数据脱敏方法及其数据脱敏设备,设备包括：现场可编程门阵列FPGA，三态内容寻址存储器TCAM，双倍速率同步动态随机存储器DDR SDRAM，多核网络处理器、可扩展连接背板；方法的是：以在线采集、实时过滤、离线关联网络通信应用中的元数据流为目标，有针对性地分类、聚合、关联并依据规范化的数据共享等级规则和策略配置以及定制化白名单，创建有界的数据泛化应用模型和技术以及创新流式密集型数据脱敏的模式和设备。本发明优点是能够大大提高网络流通大数据的共享程度及范围，进行并行异步的数据泛化计算、同步的策略匹配以及线性决策边界扩展，提供定制化可编程的能力，并能够高速、即时地按规则和策略进行非涉密数据的脱敏。

技术领域

本发明涉及一种流式密集型数据脱敏方法及其数据脱敏设备,属于信息通信技术领域。本发明应用于互联网络非涉密大数据的按需等级化共享领域，用于解决对网络流通大数据的分析和数据挖掘以及网络安全威胁态势感知的技术问题。

背景技术

目前，互联网络通信及其应用催生并承载着大数据时代。大数据不仅是网络传输的应用数据流通量大、速度高、类型多，更重要的是由于个性化行为的涌现，使得互联网成为既是一个开放的复杂巨系统，而且其动态地承载着复杂和未知的问题，包括网络安全威胁和风险。

互联网的涌现Emerging指的是在同一时期内突然、大量的出现规律性群体行为，所具备的特点是：整体才有而个体不具备的非还原性非加和性；个体之间仅遵循简单的相互作用、相互补充、相互制约的规则；从而产生规模和结构性效应。所表现出的统计特性是：大量遵从简单规律的元素形成复杂的宏观运动，且往往是小概率事件触发一次相变，从而可能导致整个系统的状态变化。

因此，对于互联网大数据，《还原论》Reductionism已不再是范式，在系统复杂性领域的研究也显现出力不从心。以数据为基础的数学模型所表述的复杂系统展现出新的前景，并正迅速发展为一门新的学科—网络科学。

事实证明，不论是加强网络安全防御措施，还是提升态势感知能力；无论是促进社会和产业发展，或是对于科学研究的探索，其必要条件之一是共享数据，尤其是，当且仅当大数据被共享，其价值和作用才能得以挖掘及体现。但是，目前共享数据面临着挑战，包括：敏感数据的泄漏，个人隐私的曝光，甚至某些开放的数据被彼方作为开源情报OSINT收集。另一方面。值得关注的一个普遍现象是：一端是云建设的数据大迁徙后数据不得出门，而另一端却是在缺少真实、完整数据的环境下做着大数据分析工作或经验使然的千人一面解决方案。其中，大数据与大数据共享及分析之间存在一个亟待解决的瓶颈及刚需，即数据脱敏Desensitization。

确保数据隐私权已成为许多受监管行业的法规之一，数据脱敏是生产系统强制执行数据保护工作的手段之一，依据既定的敏感信息使用规则屏蔽业务系统中数据的敏感信息，保障生产数据在非生产环境中安全使用，防止敏感信息泄露。例如，电话号码87652129能被屏蔽为****2129。

然而，生产系统的综合数据不同于网络通信应用的流式Streaming数据。不失一般性，大数据能分为生产性即外延型及格式化存储和流通性即密集型及非格式化交换，其差别包括：

由于分析及处置必须区分数据基本类型，数据脱敏的方法和所采用的技术手段也不尽相同。目前，对流式密集型数据的脱敏还处在相对薄弱或模糊阶段，并由此衬托出大数据挑战的实质：将海量的数据流转换为信息，以发现关键未知和支持及时决策。

从大数据的视角，网络通信应用所产生的是典型的流式密集型数据StreamingData-Intensive。在数据采集和存储的领域，网络通信应用数据流的集合有时被称为全数据。对于如此高速、多变且持续增长的海量数据，完整、可用地处理全数据几乎不可能实现，往往不得不采用传统的采样技术而导致数据不可恢复地丢失及信息不可避免地失真。