[发明专利]数据库的数据样本采集

权利要求书

1.一种数据样本采集方法，其特征在于，包括以下步骤：

提供多条可配置的数据样本采集规则；

提供被采集的目标数据库以确定源数据；

对所述目标数据库进行源数据的扫描搜索；

解析多条所述数据样本采集规则，并且基于解析的多条所述数据样本采集规则对每条数据进行以下数据筛选处理过程：

判断每条数据是否满足每条数据样本采集规则以获得每条数据的规则满足情况,

判断每条数据的规则满足情况是否在用于记录数据样本的目的表中相应存在，如果判断为“是”则不采集该条数据至所述目的表，如果判断为“否”则该条数据被判断为需要采集的数据并被更新存储到所述目的表中，该条数据的相应规则满足情况也被更新存储到所述目的表中；

对所述目的表中存储的规则满足情况进行统计；以及

基于所述统计的结果，对所述目的表的当前数据样本进行显示，从而可操作地基于所述显示判断相应的数据样本采集规则是否需要进行调整配置。

2.如权利要求1所述的方法，其特征在于，在所述数据筛选处理过程中，采用数据内存分块方法来将所述源数据依次写入到共享内存的K块数据区中，K为大于或等于2的整数。

3.如权利要求2所述的方法，其特征在于，在判断判断每条数据的规则满足情况步骤中，使用内存字段定位法来确定某条数据的对应某一条数据样本采集规则的规则字段值在所述共享内存所对应的内存地址的字段值，从而将该内存地址的字段值与对应的数据样本采集规则进行比较判断；

其中，在所述内存字段定位法中，通过源表的格式，得出每个规则字段的长度值l，以及计算出每个规则字段从每条数据首字节的偏移量O和每条记录的长度值L，假设正在处理中的共享内存数据区的首地址为A，那么规则对应的每个字段在共享内存中进行匹配的时候，第y条记录的规则字段的规则字段值等于在A+O+L*(y-1）内存地址开始取l长度所获得的值。

4.如权利要求1所述的方法，其特征在于，所述源数据被存储目标数据库的一张或多张源表中。

5.如权利要求1或2或4所述的方法，其特征在于，在解析所述数据样本采集规则的步骤中，对所述数据样本采集规则进行初始化，从而将其转化成便于判断一条数据中一个或多个字段是否匹配的规则；其中，被初始化的数据样本采集规则被存入共享内存中。

6.如权利要求4所述的方法，其特征在于，从数据库对所述源表进行索引获取和格式分析。

7.如权利要求6所述的方法，其特征在于，将对所述源表的索引与数据样本采集规则进行比较判断；如果存在数据样本采集规则与所述索引相一致，则在搜索所述源表的源数据时使用与所述索引相一致的所述数据样本采集规则作为搜索条件；如果不存在数据样本采集规则与所述索引相一致，则顺序扫描整个源表以搜索所述源表的源数据。

8.如权利要求2或3所述的方法，其特征在于，根据所述源数据的条数以及共享内存中每块数据区可容纳的数据条数，计算源数据的数据分块数量。

9.如权利要求2或3所述的方法，其特征在于，在共享内存的每块数据区的源数据写入完毕后，对该数据区的每条数据的规则满足情况进行判断。

10.如权利要求9所述的方法，其特征在于，以多进程并发方式进行规则满足情况的判断。

11.如权利要求9所述的方法，其特征在于，在所述判断每条数据的规则满足情况是否在所述目的表中相应存在的步骤中，按所述数据区的分块依次进行；并且在某一数据区的每条数据的规则满足情况的判断结束后，判断该块数据区的每条数据的规则满足情况是否在所述目的表中相应存在。