[发明专利]一种面向异构数据库的海量组播数据入库实现方法

权利要求书

1.一种面向异构数据库的海量组播数据入库实现方法，其特征在于，包括以下步骤：

步骤一：启动组播报文接收线程，开始接收组播报文；

步骤二：对接收到的组播报文首先进行完整性判断，如果不完整，则继续接收；如果完整，则对报文的类型进行检验，如果不是所需要的类型，丢弃该报文，继续接收新的组播报文；如果是所需的报文，将报文存入当前待写入的一级缓存数据文件中；当接收组播报文的时间达到接收周期或接收的组播报文数量达到指定数量时，记录已完成接收的一级数据文件数，关闭并重命名当前待写入的一级缓存数据文件，同时生成新的待写入的一级缓存数据文件；

步骤三：判断是否有需要解析的一级缓存数据文件，若有，读取待解析一级缓存数据文件中的组播报文，开始预解析；否则，继续等待；

预解析的方法是：解析组播报文报头中的信息来源字段，获取报文所属的型号，判断该型号对应的信息是否已在型号队列中，如果不在型号队列中，则获取该型号的信息并添加到型号队列中，并创建该型号对应的二级缓存数据文件存储目录及相关数据文件和控制文件，将组播报文写入二级缓存数据文件中，同时调用线程池，启动该型号入库线程；如果在型号队列中，直接将组播报文写入对应型号的二级缓存数据文件中；所述的型号对应的相关数据文件和控制文件包括：二级缓存数据文件、入库准备数据文件、入库控制文件和错误数据记录文件；

当一个一级缓存数据文件预解析完成后，记录已完成解析的一级缓存数据文件数，关闭并重命名当前所有待写入二级缓存数据文件，更新型号队列中各型号对应的已完成保存二级缓存数据文件数，同时生成新的待写入二级缓存数据文件；

步骤四：各型号入库线程判断对应型号的已完成保存二级缓存数据文件数是否大于已入库二级缓存数据文件数，如果否，说明没有新的需要入库的数据，继续等待；如果是，根据已入库二级缓存数据文件数获取下一个待入库二级缓存数据文件，解析该二级缓存数据文件，将解析后的数据保存至对应型号的入库准备数据文件中，解析完成后，调用数据加载工具SQL*Loader和入库控制文件将入库准备数据文件中的数据录入对应数据库，同时更新型号队列中对应型号的已入库二级缓存数据文件数。

2.根据权利要求1所述的一种面向异构数据库的海量组播数据入库实现方法，其特征在于，所述的步骤二中，当前待写入的一级缓存数据文件唯一且具有固定文件名，处于已完成写入状态的一级缓存数据文件的命名与已完成接收的一级缓存数据文件数相关。

3.根据权利要求1所述的一种面向异构数据库的海量组播数据入库实现方法，其特征在于，步骤二中所述的组播报文，包括报头和信息体；报头包括长度、型号编号、时间、信息类型、信息来源和信息目的字段；

长度字段表示除长度字段外报文的长度，为无符号二进制数，占2个字节，低字节在前，高字节在后；

型号编号字段用于标识报文所属型号，占8字节；

时间字段用于表示报文的产生时间，精确到0.1ms，为无符号二进制数，占6个字节，各字节定义如下：

1-2字节用于表示基于2010年1月1日的积日，为无符号整型，低字节在前；

3-6字节用于表示当日累计的0.1ms数，为无符号短整型，低字节在前；

信息类型字段用于标识报文的类型和功能，占4个字节，用ASCII字符串表示；

信息来源字段用于标识报文的原始产生者，占3个字节；

信息目的字段用于标识报文的发送目的地，占3个字节；

信息体是一个变长的数据结构，为报文的具体内容，由ASCII字符或二进制数组成，格式由报头中的信息类型确定。

4.根据权利要求1所述的一种面向异构数据库的海量组播数据入库实现方法，其特征在于，步骤三中所述的型号的信息包括型号编号、对应的数据库用户名和密码、保存数据的表名、已完成保存二级缓存数据文件数以及已入库二级缓存数据文件数。

5.根据权利要求1所述的一种面向异构数据库的海量组播数据入库实现方法，其特征在于，所述的步骤三，根据已完成解析的一级缓存数据文件数获取下一个待解析一级缓存数据文件。

6.根据权利要求1所述的一种面向异构数据库的海量组播数据入库实现方法，其特征在于，步骤三中所述的启动型号入库线程时，将该型号的信息作为参数传递给入库线程。