[发明专利]一种提供辅助服务的装置及方法

说明书

本发明涉及一种提供辅助服务的装置及方法，其中装置包括：信息采集模块、身份识别模块、语音分析模块和服务内容提供模块；信息采集模块包括的视频采集单元采集视频内容，音频采集单元采集音频内容；身份识别模块，在多人时，对采集的视频内容进行人脸识别，获取各个人脸的脸部信息；基于获取的各个人脸的脸部信息和预先形成的场景人脸数据集，确定各个人脸所属的身份类型；语音分析模块，对采集的音频内容进行语音识别，以及对识别的语音内容进行语义识别，获取关键信息；以及服务内容提供模块，基于确定的各个人脸所属身份类型的组合和获取的关键信息，提供服务内容进行展示。本发明实施例提出的技术方案无需用户专门与智能终端进行交互。

技术领域

本发明属于视频监控技术领域，具体涉及一种提供辅助服务的装置及方法。

背景技术

随着人脸识别技术和语音识别技术的发展，它们的应用场景也在不断拓展。在目前的人机交互场景中，普遍存在的是用户与智能机器人一对一对话交互，首先智能机器人通过人脸识别技术验证用户与其提供的身份证信息是否一致，在验证通过后，用户发出语音指令表达需求，智能机器人通过语音识别技术识别语音信息，利用可视化技术和语音展示用户需要的产品；然后用户通过语音确认该产品是否满足需求，完成交互。识别客户下达的语音指令，并按照并且智能机器人按照客户的指令进行的目前的人脸识别技术。申请人发现，目前的交互方式需要用户专门与智能终端进行交互。

发明内容

为了解决上述的目前的交互方式需要用户专门与智能终端进行交互的技术问题，本发明实施例提出了一种提供辅助服务的装置及方法。

在本发明的第一方面，提供一种提供辅助服务的装置。该装置包括：信息采集模块、身份识别模块、语音分析模块和服务内容提供模块；其中，

信息采集模块，包括视频采集单元和音频采集单元，所述视频采集单元采集其拍摄范围内的视频内容，所述音频采集单元采集其接收范围内的音频内容；

身份识别模块，响应于视频采集单元采集的视频内容中出现多个人脸，对所述视频采集单元采集的视频内容进行人脸识别，获取各个人脸的脸部信息；基于获取的各个人脸的脸部信息和预先形成的场景人脸数据集，确定各个人脸所属的身份类型；所述场景人脸数据集表征人脸的脸部信息与身份类型的关联关系；

语音分析模块，对音频采集单元采集的音频内容进行语音识别，以及对语音识别单元识别的语音内容进行语义识别，获取关键信息；以及

服务内容提供模块，基于身份识别模块确定的各个人脸所属身份类型的组合和语音分析模块获取的关键信息，提供服务内容进行展示。

在某些实施例中，所述服务内容提供模块根据身份识别模块确定的各个人脸所属身份类型的组合，确定所述组合拥有的权限级别；根据语音分析模块获取的关键信息和所述权限级别，提供服务内容进行展示。

在某些实施例中，所述服务内容提供模块根据语音分析模块获取的关键信息，给出满足所述权限级别的备选服务内容；按照用户的指示，从备选服务内容中确定服务内容，并提供所确定的服务内容进行展示。

在某些实施例中，所述身份识别模块，还用于响应于视频采集单元采集的视频内容中出现多个人脸或多人的声纹，对所述音频采集单元采集的音频内容进行声纹识别，获取各个人脸对应的声纹信息；附加地基于获取各个人脸对应的声纹信息，确定各个人脸所属的身份类型；所述场景人脸数据集表征人脸的脸部信息和对应的声纹信息与身份类型的关联关系。

在某些实施例中，所述音频采集模块持续采集其接收范围内的音频内容，或者按照用户的指示开始或停止采集其接收范围内的音频内容，或者响应于所述视频采集模块采集的视频内容中出现新的人脸，开始采集其接收范围内的音频内容，并在所述身份识别模块获取到所述新的人脸的脸部信息后停止采集其接收范围内的音频内容；

和/或，