[发明专利]一种数据仓库主题模型的构建方法和装置

权利要求书

1.一种数据仓库主题模型的构建方法，其特征在于，所述方法包括：

创建并执行ETL任务，所述ETL任务中包含业务数据的主题类型；所述ETL任务用于将所述业务数据集成到数据仓库中；

根据所述主题类型对应的业务数据以及预先针对所述业务数据的数据特点而配置的数据计算框架进行主题模型计算，生成所述主题类型对应的主题模型；所述主题模型包括结果集数据；

将所述主题模型的结果集数据通过ES接口推送给ES搜索平台，以供用户对所述主题模型的结果集数据进行查询。

2.根据权利要求1所述的方法，其特征在于，创建并执行ETL任务之后，所述方法还包括：

对所述ETL任务的执行情况进行监控；

当监控到所述ETL任务在执行时出现异常，发起第一异常告警；所述异常包括下述一种或多种：所述ETL任务执行失败，所述ETL任务执行超时，以及所述ETL任务结束后，所述业务数据在所述数据仓库中集成失败。

3.根据权利要求1或2所述的方法，其特征在于，生成所述主题类型对应的主题模型之后，所述方法还包括：

通过shell脚本和/或hive脚本对所述主题模型的结果集数据进行检测；

当检测出所述主题模型的结果集数据出现异常时，发起第二异常告警。

4.根据权利要求1或2所述的方法，其特征在于，将所述主题模型的结果集数据通过ES接口推送给ES搜索平台，以供用户对所述主题模型的结果集数据进行查询，包括：

将所述主题模型的结果集数据通过ES接口推送给ES搜索平台，由所述ES搜索平台根据所述主题模型的结果集数据建立索引，以供用户对所述主题模型的结果集数据进行查询。

5.根据权利要求1或2所述的方法，其特征在于，所述数据计算框架包括：MR框架、Tez框架和Spark框架。

6.一种数据仓库主题模型的构建装置，其特征在于，所述装置包括：

ETL单元，用于创建并执行ETL任务，所述ETL任务中包含业务数据的主题类型；所述ETL任务用于将所述业务数据集成到数据仓库中；

建模单元，用于根据所述主题类型对应的业务数据以及预先针对所述业务数据的数据特点而配置的数据计算框架进行主题模型计算，生成所述主题类型对应的主题模型；所述主题模型包括结果集数据；

查询单元，用于将所述主题模型的结果集数据通过ES接口推送给ES搜索平台，以供用户对所述主题模型的结果集数据进行查询。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

监控单元，用于对所述ETL任务的执行情况进行监控；当监控到所述ETL任务在执行时出现异常，发起第一异常告警；所述异常包括下述一种或多种：所述ETL任务执行失败，所述ETL任务执行超时，以及所述ETL任务结束后，所述业务数据在所述数据仓库中集成失败。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

检测单元，用于通过shell脚本和/或hive脚本对所述主题模型的结果集数据进行检测；当检测出所述主题模型的结果集数据出现异常时，发起第二异常告警。

9.根据权利要求6或7所述的装置，其特征在于，所述查询单元，用于：

将所述主题模型的结果集数据通过ES接口推送给ES搜索平台，由所述ES搜索平台根据所述主题模型的结果集数据建立索引，以供用户对所述主题模型的结果集数据进行查询。

10.根据权利要求6或7所述的装置，其特征在于，所述数据计算框架包括：MR框架、Tez框架和Spark框架。