[发明专利]一种海量异构数据的接入及标准化方法

说明书

技术领域

本发明涉及一种异构数据的接入及标准化方法，具体涉及领域海量异构数据的接入及标准化过程。

背景技术

在安保领域中，需要面临海量异构数据信息的接入处理，这些数据不仅数据类型异构，如报警、定位、人像等不同的数据信息，而且同种数据类型由于被应用的领域或分属的类别不同也有不同的数据格式，如井盖数据中联通井盖与交管井盖的数据类型就有所差异。这些异构数据导致了系统间信息交互和互操作非常困难，数据更新不能同步，并且在开发过程中，程序重复度较高，人员投入量大，维护困难等问题。

目前在海量数据通信中通常采用多线程技术，并存在许多封装好的多线程库，但这些多线程库在使用过程中亦存在一些问题。例如Apple公司DarwinInclude，主要是针对流媒体服务器的库文件，一方面其对Socket的封装性较低，对开发人员不够简化；另一方面，该库并不是针对安保领域中海量数据的接入，因此在业务需求上存在大量二次重复开发，增加了人力与时间成本。目前普遍存在的使用xml技术来解决异构数据的差异性，但是xml技术在解决这种实时的海量的异构数据接入方面存在数据量大，时间较慢、并且较为复杂等缺点。

发明内容

本发明的目的在于提供一种海量异构数据的接入及标准化方法的解决方案，该方案主要面向开发人员，解决目前海量异构数据接入开发周期长，开发过程复杂，重复性开发过多等问题。

本发明提供的一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协议标准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。

所述多线程具有四种线程类型，分别是接受线程、管理线程、工作线程、协议转换线程；其中，所述接受线程负责接受客户端的链接；所述管理线程负责链接服务器，并具有自动重连功能；所述工作线程负责接收及发送数据；所述协议转换线程负责将接收到的数据按照序列化的文件，转换成相应协议格式的数据。

本发明针对安保领域的开发人员，由于使用ID来封装socket与buffer，为上层提供接口，因此屏蔽Socket了通信之间的差异化，简化通信流程，因此使得开发过程更简单，开发周期更短，维护更加简单。非正常通信断开的链接，具有自动重连功能。并且本方案使用序列化机制解决数据异构问题，使程序拥有更好的可扩展性和更快的运行效果。

附图说明

图1是本发明的模块结构框图

图2是本发明的数据接入及标准化流程图

具体实施方式

如图1所示，本发明的解决方案主要设置有两个子模块：协议标准化子模块和通信适配子模块。

协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用。

通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。

本发明将socket与buffer封装成ID，使用ID来表明一次会话。ID分配方式如下：