[发明专利]对视频的可视对象插入进行分类

说明书

本公开涉及一种计算机实施的方法、计算机程序和装置，其通过以下对视频中的对象插入窗格进行分类：识别所述视频的场景中的至少一个对象插入窗格；识别所述场景中的注意力焦点；至少部分地基于所述对象插入窗格和所述注意力焦点，为所述至少一个对象插入窗格中的每个对象插入窗格确定邻近值，其中所述邻近值是指所述场景中的所述至少一个对象插入窗格中的每个对象插入窗格与所述注意力焦点之间的距离；以及至少部分地基于为所述至少一个对象插入窗格中的每个对象插入窗格所确定的邻近值，对所述至少一个对象插入窗格中的每个对象插入窗格进行分类。

技术领域

本公开涉及用于对视频中的对象插入窗格进行分类的方法、系统和计算机程序。

背景技术

随着数字文件处理的出现，可以将可视对象以数字化方式插入视频中。为了将可视对象以数字化方式插入视频中，首先必须确定数字对象插入的窗格(object insertionopportunity)。然后必须评估该窗格以确定在该窗格插入对象是否适合，例如基于以数字化方式插入对象的价值或好处。如果确定窗格合适，例如在将数字对象插入视频中有足够的好处或价值，则可以开始数字对象插入的过程。

在视频中以数字化方式插入对象可以有许多好处，例如增强视频的视觉效果，或改善视频的真实感，或者在拍摄后为视频提供更大的灵活性，这意味着在拍摄场景的过程中需要做出的决策更少。因此，数字对象插入变得越来越普遍，并被视频制作者用于各种目的。

然而，并非每个对象插入窗格都值得使用。例如，在某些情况下，可能有数百数千的窗格将对象插入视频(尤其是长视频，例如电影)中。这些窗格中的大多数可能被认为不适合于插入对象，例如，因为它们对于观看者而言并不足够可见或者缺乏足够的影响或好处。通常，成百上千中的一小部分可能值得考虑插入可视对象。从所有数字对象插入窗格中筛选合适的窗格(例如，可能会改善视频场景或增加观看者影响的那些窗格)可能是耗时且费力的过程，这需要操作人员对每个已识别的窗格进行评估。它还可能涉及一定程度的主观分析，这可能导致不同操作员之间的评估不一致，甚至导致同一操作员在不同时间的评估不一致。随着数字对象插入变得越来越普遍，现有的分析和评估技术对资源效率的不利影响越来越大，特别是对于长度很大的视频，诸如电影或电视节目的情节/演出。因此，需要一种更有效且一致的确定合适的对象插入窗格的方法。

发明内容

在本公开的第一方面中，提供了一种计算机实施的方法，所述方法用于对视频中的潜在对象插入窗格进行分类，所述方法包括：通过分析所述视频的场景中的一个或多个画面的每个画面中的多个像素，识别所述视频的场景中的至少一个潜在对象插入窗格，其中每个潜在对象插入窗格表示将一个或多个可视对象以数字化方式插入到所述场景的图像内容中的窗格；通过分析所述视频的所述场景中的所述一个或多个画面的每个画面中的所述多个像素，识别所述场景中的注意力焦点，其中所述注意力焦点表示所述场景中可能吸引观看者注意力焦点的部分；至少部分地基于被所述潜在对象插入窗格所覆盖的所述场景的区域和被所述注意力焦点所覆盖的所述场景的区域，为所述至少一个潜在对象插入窗格中的每个对象插入窗格确定邻近值，其中所述邻近值是指所述场景中的所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格与所述注意力焦点之间的距离；以及至少部分地基于为所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格所确定的邻近值，对所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格进行分类。

对所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格进行分类可以包括：将所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格分类为候选对象插入窗格或不合格的对象插入窗格。

对所述至少一个潜在对象插入窗格中的每个潜在对象插入窗格进行分类还可以包括：至少部分地基于与每个候选对象插入窗格相关联的邻近值，为每个候选对象插入窗格确定影响值。