[发明专利]一种数据采集方法、装置、计算设备及存储介质

说明书

本申请提供的一种数据采集方法、装置、计算设备及存储介质，其中，所述方法包括获取待监控网页的目标多维度数据；根据预设校验规则对所述多维度数据进行校验；将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据，采用上述方法可以进行多维度数据的采集和分类存储，方便后期维护人员可以根据分类存储的数据针对网页进行优化。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据采集方法、装置、计算设备及存储介质。

背景技术

目前，随着移动互联网的发展，可以通过智能手机、平板电脑以及多媒体播放器之类的终端设备进行网页浏览，为了帮助用户提高浏览效率，都会对网页结构进行优化，一般优化方式可以利用网页的日志文件为基础数据，经过数据预处理后的基础数据，利用模式分析来拆分用户的行为特征，形成用户的访问模式，并根据模式修改网页结构，如增加超级链接、调整热点图等实现网页拓扑结构优化。

用户浏览网页时，网页请求发出之后网页从服务端到浏览器端的显示时间以及渲染时间是需要多维度统计的，但是网页从服务端到浏览器端的显示时间以及渲染时间在不同客户和不同浏览器中所用的时间有所不同，用户的行为习惯也会影响到网页产品展示设计和交互界面设计，因此如何实现不同客户和不同浏览器之间浏览网页时的各维度数据采集存储，方便后期维护人员可以根据采集的数据对网页进行优化是目前需要解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种数据采集方法、装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种数据采集方法，包括：

获取待监控网页的目标多维度数据；

根据预设校验规则对所述多维度数据进行校验；

将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

可选地，所述待监控网页包括注入侵入式脚本的网页，获取待监控网页的目标多维度数据包括：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到文件目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

可选地，将有效的多维度数据分类存储至数据库之后，还包括：

分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

可选地，获取待监控网页的目标多维度数据之后，还包括：

为所述多维度数据的每个维度数据添加对应的标识符。

可选地，将有效的多维度数据分类存储至数据库包括：

根据所述标识符将有效的多维度数据分类存储至数据库。

可选地，分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库之后，还包括：

将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

可选地，将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表之后，还包括：

根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。