[发明专利]多核嵌入式电视跟踪器人机交互装置及方法有效
申请号: | 201710895391.1 | 申请日: | 2017-09-28 |
公开(公告)号: | CN107807777B | 公开(公告)日: | 2021-03-19 |
发明(设计)人: | 李静宇 | 申请(专利权)人: | 中国科学院长春光学精密机械与物理研究所 |
主分类号: | G06F3/0487 | 分类号: | G06F3/0487;H04N5/14;H04N5/265;H04N7/18 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 赵勍毅 |
地址: | 130033 吉林省长春*** | 国省代码: | 吉林;22 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 多核 嵌入式 电视 跟踪 人机交互 装置 方法 | ||
1.一种多核嵌入式电视跟踪器人机交互装置,其特征在于,包括:可编程门阵列、多核数字信号处理器、随机存储器、SDI接口、HDMI接口、鼠标控制模块以及人机交互界面模块;
所述可编程门阵列,用于实时采集原始图像,将所述原始图像发送给所述多核数字信号处理器,接收所述数字信号处理器的融合图像,将原始图像以及融合图像发送给HDMI显示器;
所述多核数字信号处理器,用于接收所述可编程门阵列发送的原始图像,将所述原始图像进行分割后处理,并获取所要跟踪目标的叠加信息,将所述原始图像、叠加信息以及所述人机交互界面进行融合,得到融合图像,将所述融合图像发送给所述可编程门阵列;
所述人机交互界面模块,用于显示人机交互界面,所述人机交互界面包含图像显示区域、目标运动轨迹图显示区域、控制按钮、跟踪状态信息;
鼠标控制模块,用于采集鼠标数据,获取鼠标位置信息并显示在所述人机交互界面模块上,将功能按钮栏的信息发送给所述多核数字信号处理器,并接收鼠标的按钮控制指令及点击目标指令,从而生成所述叠加信息;
所述随机存储器,用于接收所述可编程门阵列及所述多核数字信号处理器的原始图像及融合图像并存储;
所述SDI接口,用于所述可编程门阵列与SDI高清摄像机的通信;
所述HDMI接口,用于所述可编程门阵列与所述HDMI显示器通信;
所述多核数字信号处理器包括以下模块:
SRIO数据输入模块,用于将所述可编程门阵列采集到的原始图像传输给数字图像处理模块;
所述数字图像处理模块,用于接收到的原始图像分割,分配给多个内核进行处理,并将所述多个内核的处理结果合并;
叠加信息生成模块,用于将合并后的处理结果生成所需要的叠加信息,所述叠加信息包括目标位置、运动轨迹以及目标的编号,并将所述原始图像、叠加信息以及所述人机交互界面进行融合,生成融合图像;
SRIO数据输出模块,用于将所述叠加信息生成模块的融合图像传输给所述可编程门阵列。
2.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置,其特征在于,所述可编程门阵列通过所述SDI接口接收SDI高清摄像机实时采集的原始图像。
3.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置,其特征在于,所述多核数字信号处理器为8核DSP处理器,为DSP core1-DSP core8,8核同时工作、并行处理;
所述DSP core1接收所述可编程门阵列发送的原始图像,并将所述原始图像分割成7块,分配给DSP core2-DSP core8,DSP core2-DSP core8并行处理,将处理结果发给DSPcore1,DSP core1将处理结果合并,将处理结果生成所需要的叠加信息,将所述原始图像、所述叠加信息以及所述人机交互界面进行融合,DSP core1将叠加信息生成模块的融合图像传输给所述可编程门阵列。
4.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置,其特征在于,所述可编程门阵列包括以下模块:
SDI图像采集模块,用于实时采集SDI高清摄像机获取的原始图像,并存储在随机存储器中;
HDMI图像显示模块,用于将所述随机存储器中的原始图像通过HDMI接口传出,显示在HDMI显示器上;
SRIO高速数据互联模块,用于与所述多核数字信号处理器进行高速数据互联,将所述可编程门阵列采集到的原始图像发送给所述多核数字信号处理器进行处理,接收所述多核数字信号处理器发送的融合图像。
5.如权利要求1所述的多核嵌入式电视跟踪器人机交互装置,其特征在于,所述人机交互界面模块设置于flash存储器中。
6.一种多核嵌入式电视跟踪器人机交互方法,其特征在于,采用如权利要求1-5任一项所述的多核嵌入式电视跟踪器人机交互装置进行人机交互,包括以下步骤:
步骤1:所述多核嵌入式电视跟踪器人机交互装置上电,初始化所述多核数字信号处理器及所述可编程门阵列,所述人机交互界面模块产生的人机交换解密自动搬移到所述随机存储器中;
步骤2:所述可编程门阵列采集原始图像,并发送给所述多核数字信号处理器;
步骤3:所述多核数字信号处理器将所述原始图像、所述叠加信息与所述人机交互界面融合,生成融合图像,并发送给所述可编程门阵列,所述可编程门阵列将所述融合图像发送给所述HDMI显示器,实时显示在所述HDMI显示器中;
步骤4:所述多核数字信号处理器接收串口鼠标位置,来判断系统工作模式:若为待机模式,则返回步骤3;若为跟踪模式,则执行步骤5;
步骤5:所述多核数字信号处理器判断是否已选择目标,如未选择目标则等待选择初始化目标;如已选择目标,则执行步骤6;
步骤6:所述多核数字信号处理器将所述原始图像进行分割,并行处理跟踪下一时刻目标位置,将处理结果整合,以在原始图像中画出目标位置及运动轨迹,用EDMA方式将带有原始图像、目标位置和运动轨迹的图像与人机交互界面融合,并更新目标状态信息区域的信息,生成融合图像;
步骤7:所述多核数字信号处理器将所述融合图像传给所述可编程门阵列,所述可编程门阵列将融合后的图像发送给所述HDMI显示器,实时显示在HDMI显示器中;
步骤8:若系统断电,则结束工作流程;否则返回步骤2。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院长春光学精密机械与物理研究所,未经中国科学院长春光学精密机械与物理研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710895391.1/1.html,转载请声明来源钻瓜专利网。