[发明专利]一种抗并发的数据写入方法和系统

权利要求书

1.一种抗并发的数据写入方法，其特征在于，包括以下步骤：

在繁忙时段，根据紧急程度对接收到的数据进行分级；所述繁忙时段指负荷达到预设值的时段或预先设定的时段；

根据分级结果，向数据分配优先权；

根据数据分配到的优先权顺序以及数据的业务类型，将数据存放到对应的卡夫卡消息队列；所述卡夫卡消息队列具有对应的业务类型，所述卡夫卡消息队列用于接收相同业务类型的数据；

当检测到不存在相同业务类型的卡夫卡消息队列而导致数据存放失败时，拒绝接收未能存放到卡夫卡消息队列中的数据，并向相应的数据源进行反馈；

在非繁忙时段，将卡夫卡消息队列中存放的数据读出并写入到数据库中。

2.根据权利要求1所述的一种抗并发的数据写入方法，其特征在于，所述方法还包括以下步骤：

在非繁忙时段，向被拒绝接收的数据相应的数据源发出重新传送数据的请求；

将接收到的数据写入到数据库中。

3.根据权利要求1或2所述的一种抗并发的数据写入方法，其特征在于，所述卡夫卡消息队列的数量为多个，各卡夫卡消息队列对应不同的优先权，各卡夫卡消息队列分别被配置为可读可写模式、只读模式或只写模式。

4.根据权利要求3所述的一种抗并发的数据写入方法，其特征在于，所述根据分配的优先权顺序，将数据存放到卡夫卡消息队列这一步骤，具体包括：

对各卡夫卡消息队列进行扫描，从中查找出匹配队列并检测匹配队列的存储空间；所述匹配队列由各卡夫卡消息队列中的一个或多个组成，所述匹配队列与待存放数据具有相同优先权顺序；

当判断所述匹配队列的存储空间足以完全存放待存放数据时，则将待存放数据拷贝到所述匹配队列中，反之，则将待存放数据分解成第一部分和第二部分，然后将第一部分拷贝到所述匹配队列中，将第二部分拷贝到优先权顺序次于匹配队列的卡夫卡消息队列中；其中，所述第一部分的占据空间与匹配队列的存储空间相等。

5.根据权利要求4所述的一种抗并发的数据写入方法，其特征在于，所述将第二部分拷贝到优先权顺序次于匹配队列的卡夫卡消息队列中这一步骤，具体包括：

对各卡夫卡消息队列进行扫描，从中查找出次级队列并检测次级队列的存储空间；所述次级队列由各卡夫卡消息队列中的一个或多个组成，所述次级队列的优先权顺序比匹配队列的优先权顺序次一级；

当判断所述次级队列的存储空间足以完全存放所述第二部分时，则将第二部分拷贝到所述次级队列中，反之，则将第二部分分解成第一单元和第二单元，所述第一单元的占据空间与次级队列的存储空间相等，所述第二单元是第二部分除第一单元外的其余部分，然后将第一单元拷贝到所述匹配队列中，将第二单元拷贝到优先权顺序次于次级队列的卡夫卡消息队列中。

6.一种抗并发的数据写入系统，其特征在于，包括：

数据分级模块，用于在繁忙时段，根据紧急程度对接收到的数据进行分级；所述繁忙时段指负荷达到预设值的时段或预先设定的时段；

优先权分配模块，用于根据分级结果，向数据分配优先权；

卡夫卡消息队列模块，根据数据分配到的优先权顺序以及数据的业务类型，将数据存放到对应的卡夫卡消息队列；所述卡夫卡消息队列具有对应的业务类型，所述卡夫卡消息队列用于接收相同业务类型的数据；

数据拒绝模块，当检测到不存在相同业务类型的卡夫卡消息队列而导致数据存放失败时，拒绝接收未能存放到卡夫卡消息队列中的数据，并向相应的数据源进行反馈；

数据写入模块，用于在非繁忙时段，将卡夫卡消息队列中存放的数据读出并写入到数据库中。

7.根据权利要求6所述的一种抗并发的数据写入系统，其特征在于，所述系统还包括重新请求模块，所述重新请求模块用于在非繁忙时段，向被拒绝接收的数据相应的数据源发出重新传送数据的请求；所述数据写入模块还用于将接收到的数据写入到数据库中。