[发明专利]一种基于视觉获取行人的消费肖像的方法及装置

权利要求书

1.一种基于视觉获取行人的消费肖像的方法，其特征在于，包含以下步骤：

对监控摄像头采集到的视频流进行移动检测得到移动点、并耦合移动点得到至少一个独立移动图块；

从所述独立移动图块中选取面积最大的独立移动图块为目标图块，并对目标图块作人体姿势关键点检测；

根据检测到的人体姿势关键点信息：

（1）从与行人头部对应的鼻子、左眼、右眼、左耳、右耳、颈部关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第一预设冗余长度来从当前帧图像中截取该行人的头部截图；

（2）从与行人上身对应的颈部、左肩、右肩、左肘、右肘、左腕、右腕、左腰、右腰关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第二预设冗余长度来从当前帧图像中截取该行人的上身截图；

（3）从与行人腿部对应的左腰、右腰、左膝、右膝、左踝、右踝关键点中选取至少三点所构成的面积最大的凸多边形的各边向外延展第三预设冗余长度来从当前帧图像中截取该行人的腿部截图；

（4）以与行人脚部对应的左踝和右踝两关键点的连线线段的中点作为圆心、左踝和右踝两关键点之间的距离作为半径来从当前帧图像中截取一个圆形的该行人的脚部截图；

对所述头部截图进行人脸属性识别得到包含了行人的性别、所属年龄阶段、是/否佩戴眼镜、是/否笑的信息在内的人脸属性集；

分别对所述上身截图、腿部截图、脚部截图进行服饰分割得到目标上身服饰图、目标腿部服饰图、目标脚部服饰图；

不分先后顺序地：

（1）以目标上身服饰图来对上身服饰图库进行视觉搜索，选取上身服饰图库中与目标上身服饰图的相似程度值大于预设相似程度阈值的上身服饰近似图，并以各上身服饰近似图的图片ID与其对应的相似程度值关联组成上身图片ID-相似程度值数据对，由所有的上身图片ID-相似程度值数据对构成上身匹配数据集；

（2）以目标腿部服饰图来对腿部服饰图库进行视觉搜索，选取腿部服饰图库中与目标腿部服饰图的相似程度值大于预设相似程度阈值的腿部服饰近似图，并以各腿部服饰近似图的图片ID与其对应的相似程度值关联组成腿部图片ID-相似程度值数据对，由所有的腿部图片ID-相似程度值数据对构成腿部匹配数据集；

（3）以目标脚部服饰图来对脚部服饰图库进行视觉搜索，选取脚部服饰图库中与目标脚部服饰图的相似程度值大于预设相似程度阈值的脚部服饰近似图，并以各脚部服饰近似图的图片ID与其对应的相似程度值关联组成脚部图片ID-相似程度值数据对，由所有的脚部图片ID-相似程度值数据对构成脚部匹配数据集；

不分先后顺序地：

（1）以上身匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个上身属性，上身匹配数据集中的至少一个数据对的图片ID检索到同一上身属性，上身属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有上身属性在被相似程度值标记后构成上身属性集；

（2）以腿部匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个腿部属性，腿部匹配数据集中的至少一个数据对的图片ID检索到同一腿部属性，腿部属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有腿部属性在被相似程度值标记后构成腿部属性集；

（3）以脚部匹配数据集中的各数据对的图片ID来检索预存的图片ID-属性数据库：检索得到各图片ID对应的至少一个脚部属性，脚部匹配数据集中的至少一个数据对的图片ID检索到同一脚部属性，脚部属性被检索到它的至少一个图片ID所属数据对中最大的相似程度值标记，检索得到的所有脚部属性在被相似程度值标记后构成脚部属性集；

融合人脸属性集、上身属性集、腿部属性集、脚部属性集得到行人的消费肖像。

2.根据权利要求1所述的一种基于视觉获取行人的消费肖像的方法，其特征在于，其中所述移动检测采用帧差法、光流法的一种：

（1）其中在采用帧差法的情况下，将当前帧图像中相对于前帧图像的亮度变化差值的绝对值大于预设亮度变化阈值的像素点判定为移动点；

（2）其中在采用光流法的情况下，将当前帧图像中相对于前帧图像的移动距离超过预设像素距离阈值的像素点判定为移动点。