[发明专利]一种面向IPTV智能终端的数据预处理方法和系统

说明书

本发明提供了一种面向IPTV智能终端的数据预处理方法和系统。由预处理策略配置模块进行数据预处理策略配置；由采集模块进行用户观影数据和行为数据采集并存储在存储模块中；由预处理模块基于所述策略对所采集的用户数据进行数据预处理；并由上报模块将经预处理的数据上报给汇聚处理模块。本发明充分利用IPTV智能终端本身的计算能力和存储能力，把用户数据下沉到IPTV智能终端进行预处理，减少占用服务器资源和网络资源同时可以高效处理用户的观影数据和行为数据。

技术领域

本发明涉及IPTV领域，尤其涉及一种基于边缘计算面向IPTV智能终端的数据预处理方法和系统。

背景技术

随着交互式网络电视IPTV业务不断发展，IPTV用户规模日渐扩大，IPTV节目也越来越多。相比使用移动端设备观看视频而言，IPTV业务可以向用户提供高速、超高清大屏和较好的音效等的观影体验。

但相比移动端设备而言，IPTV也具有弱点，除了便携性不足的先天缺陷之外，向用户提供个性化节目推荐的能力也相比如移动端的APP而言较弱。

为了提升用户使用体验，提高用户使用粘性，如何为IPTV业务用户群体提供精准的个性化的影视节目推荐，是IPTV业务需要研究的重要课题。而提供精准的个性化推荐的前提是采集海量的用户的观影数据和行为数据，准确把握用户的观影习惯和偏好。

目前IPTV数据采集一般采用在IPTV智能终端的视频播放界面进行功能性埋点，直接采集用户的观影数据和行为数据，上报到服务器进行数据处理和分类。由于IPTV用户群体数量较大，且每个用户的观影数据和行为数据的数据量也较大，需要投入较多的中心服务器资源来进行海量数据处理，或者采取中心服务器加边缘服务器的方式来处理，网络资源的消耗也比较大，效率较低。实际上，采集的用户数据中包含大量的无效数据，无谓地浪费了网络资源和服务器资源。

因此，需要一种减少占用服务器资源和网络资源同时可以高效处理用户的观影数据和行为数据的方法和系统，以满足不同业务和数据采集场景的需求。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。

本发明充分利用IPTV智能终端本身的计算能力和存储能力，把用户的数据下沉到由IPTV智能终端自行进行预处理。IPTV智能终端从服务器获取数据预处理策略，采集并自行分析和预处理相关的数据，生成预定的数据格式再上传至服务器。这种基于边缘计算的架构，投入较少的服务器资源即可到达传统IPTV内容数据采集的效果，有效提高了投入产出比。

本发明提供了一种面向IPTV智能终端的数据预处理系统，包括：在IPTV智能终端处的采集模块、存储模块、与存储模块通信地连接的预处理模块，与预处理模块通信地连接的上报模块；以及在IPTV平台处的数据采集系统中的与预处理模块通信地连接的预处理策略配置模块、与上报模块通信地连接的汇聚处理模块。

采集模块采集用户数据并存储在存储模块中；预处理策略配置模块配置数据预处理策略，包括数据过滤规则、数据拆分和合并规则、数据格式化规则，以及数据分类和统计规则；预处理模块基于数据预处理策略对存储模块中的用户数据(包括用户的观影数据和行为数据)进行预处理，包括清洗、过滤、拆分、合并、格式化、分类和统计，将经预处理的用户数据通过上报模块发送到汇聚处理模块。

其中，预处理模块进行清洗和过滤包括去除未达到有效观影时长的用户数据，预处理模块进行分类包括按照年龄对用户的观影影片进行分类。

本发明提供了一种面向IPTV智能终端的数据预处理方法，包括：在IPTV平台处的数据采集系统中进行数据预处理策略配置；在IPTV智能终端处进行用户数据采集；在IPTV智能终端处，基于配置的数据预处理策略，对所采集的用户数据进行数据预处理；以及数据上报，将经预处理的数据上报之数据采集系统。