[发明专利]一种实时事件流识别方法及系统

说明书

本发明提供一种实时事件流识别方法及系统，包括：确定待识别个体事件；将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。本发明通过对健康实时事件进行识别时，采用模型无关的元学习策略对事件流检测模型进行优化，实现了以最低代价得到具有个体自适应的检测模型，大大提高模型的泛化能力。

技术领域

本发明涉及多媒体技术领域，尤其涉及一种实时事件流识别方法及系统。

背景技术

在针对人体事件检测研究中，常常用到事件流检测模型，而该模型往往会出现模型泛化能力较差的问题，例如在一些数据不均衡的数据集中，因为数据分布偏差较大，往往导致所训练的模型偏好某些特定的事件类别。

健康实时事件识别任务一般包括时间序列检测与多模态事件识别两个步骤，但是由于现有的人体事件检测方案在训练模型时针对所有的研究对象一概而论，而不对研究对象进行区分，这样会因数据分布不均衡等因素造成模型泛化能力较差的问题，满足不了对于个体自适应的需求。

发明内容

本发明提供一种实时事件流识别方法及系统，用以解决现有技术中无法针对事件识别检测的个体进行个性区分，导致检测结果容易出现偏差的缺陷。

第一方面，本发明提供一种实时事件流识别方法，包括：

确定待识别个体事件；

将所述待识别个体事件输入至预先训练好的事件流检测模型，得到个体事件识别结果；其中，所述事件流检测模型是基于不同个体事件样本数据特征进行融合得到融合特征后，将所述融合特征进行边界匹配，并基于个体自适应元学习进行分类识别后所得到。

在一个实施例中，所述事件流检测模型，通过以下步骤获得：

获取所述视频数据特征和所述传感数据特征；

将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征；

将所述融合特征输入边界匹配网络，得到候选时间片段数据；

将所述候选时间片段数据输入分类识别网络，得到个体事件类型以及个体事件时间信息；

确定不同用户个体的元学习任务，对所述融合特征、所述候选时间片段数据和所述个体事件类型以及个体事件时间信息进行优化，得到所述事件流检测模型。

在一个实施例中，所述获取所述视频数据特征和所述传感数据特征，包括：

将任意长度的视频片段输入预设视频特征提取器，得到所述视频数据特征；

将所述任意长度的视频片段对应的传感器数据输入预设传感特征提取器，得到所述传感数据特征。

在一个实施例中，所述将所述视频数据特征和所述传感数据特征进行连接融合，得到所述融合特征，包括：

将具有相同特征维度的所述视频数据特征和所述传感数据特征进行连接，得到连接特征；

将所述连接特征由线性网络进行特征融合，得到具有多源异构数据统一表示的所述融合特征。

在一个实施例中，所述将所述融合特征输入边界匹配网络，得到候选时间片段数据，包括：

确定所述融合特征的时序特征序列；

基于所述时序特征序列的时序候选初始边界位置，以及时序候选长度，将所述时序候选构建为边界匹配特征图，基于所述边界匹配特征图得到边界匹配置信度图；

根据所述边界匹配置信度图的置信度分数，提取所述融合特征的特征表示，得到所述候选时间片段数据。