[发明专利]一种用于计算目标特征的历史数据的方法及装置

权利要求书

1.一种用于计算目标特征的历史数据的方法，其特征在于，所述方法包括：

获取用于生成时间宽表的原始数据；其中，所述原始数据为数据库的日志数据；

根据所述日志数据，创建用于生产所述目标特征的历史数据的时间宽表；

从预先配置的配置数据中获取所述时间宽表的计算逻辑；

根据所述时间宽表和所述计算逻辑，计算所述目标特征的历史数据。

2.根据权利要求1所述的方法，其特征在于，所述日志数据，具体包括：

堆积字段数据、固定字段数据和/或无状态字段数据；

其中，所述堆积字段为需要记录字段值变化历史的字段；

所述固定字段为无需记录字段值变化历史的字段；

所述无状态字段为只需记录周期最后一刻字段值的字段。

3.根据权利要求2所述的方法，其特征在于，所述根据所述日志数据，创建用于生产所述目标特征的历史数据的时间宽表，具体包括：

根据堆积字段数据、固定字段数据创建第一计算粒度的时间宽表；

根据堆积字段数据、固定字段数据以及所述第一计算粒度的时间宽表，创建第二粒度的时间宽表；

根据无状态字段数据创建第三计算粒度的时间宽表；

将所述第二粒度的时间宽表和第三计算粒度的时间宽表确定为用于生产所述目标特征的历史数据的时间宽表；

其中，第二计算粒度小于第一计算粒度，第一计算粒度小于第三计算粒度。

4.根据权利要求3所述的方法，其特征在于，

所述第一计算粒度的时间包括小时；

所述第二计算粒度的时间包括分钟；

所述第三计算粒度的时间包括天。

5.根据权利要求2所述的方法，其特征在于，所述从预先配置的配置数据中获取所述时间宽表的计算逻辑，具体包括：

根据所述日志数据的键进行聚合，得到不同聚合维度的日志数据；

从预先配置的配置数据中获取每一种聚合维度对应的计算SQL。

6.根据权利要求5所述的方法，其特征在于，所述根据所述日志数据的键进行聚合，得到不同聚合维度的日志数据，具体包括：

根据所述日志数据的键进行聚合；

针对聚合后为堆积字段的第一日志数据，创建用于记录所述第一日志数据变化值的变化字段并建立该变化字段与第一日志数据之间的映射关系，记录所述变化值；

针对聚合后为固定字段的第二日志数据，取相同键的最后一条第二日志数据的值作为该键的最终值；

将处理后的固定字段和堆积字段的日志数据按照键再次聚合，得到不同聚合维度的日志数据。

7.根据权利要求5所述的方法，其特征在于，所述根据所述时间宽表和所述计算逻辑，计算所述目标特征的历史数据，具体包括：

从预先配置的配置数据中获取每一种聚合维度对应的视图SQL；

根据所述视图SQL，加载所述目标特征设定计算天数的基础数据到内存中；其中，所述基础数据为目标特征依赖的业务数据；

基于每一种聚合维度的视图SQL下的基础数据，结合该聚合维度的计算SQL，计算该聚合维度下目标特征的历史数据。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

统计所述视图SQL下目标特征的计算频次；

符合计算频次达到阈值后，将该视图SQL下的基础数据转化为物理表的形式存储。

9.一种用于计算目标特征的历史数据的装置，其特征在于，所述装置包括：

第一获取单元，获取用于生成时间宽表的原始数据；其中，所述原始数据为数据库的日志数据；

创建单元，根据所述日志数据，创建用于生产所述目标特征的历史数据的时间宽表；

第二获取单元，从预先配置的配置数据中获取所述时间宽表的计算逻辑；

计算单元，根据所述时间宽表和所述计算逻辑，计算所述目标特征的历史数据。

10.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

所述处理器被配置为上述权利要求1-8中任一项所述的方法。