[发明专利]基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置

说明书

本发明提供一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，所述采集方法通过在多种类型的刺激材料中添加静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的刺激材料中绘制一个或多个内容的静态兴趣区；将动态的刺激材料延时间轴分割多个关键帧，采用一个或多个选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的帧兴趣区进行关联，得到一个或多个动态兴趣区；同时，将静态兴趣区和/或动态兴趣区按照设定顺序建立分析序列，以通过该分析序列在交互过程中的发生时段和/或频次分析操作者/参与者的行为模式。

技术领域

本发明涉及人机交互产品的源代码读取和识别，以及数据采集、处理及分析技术领域，包括生理数据、眼动数据、行为数据和环境等数据的采集、处理与分析，尤其涉及一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置。

背景技术

人机界面信息显示主要围绕界面的显示布局、显示格式及显示要素等，研究如何确保人机界面呈现的图形、表页、字符等信息是操作人员在执行任务中需要关注的，并保证其易于感知和理解。人机界面交互主要围绕界面的交互反馈、提示、响应时间等，研究如何确保人机界面各种类型控件及操作单元的交互满足操作人员高效、便捷、舒适的获取信息、执行操作控制的需求。人机交互产品研究过程中不仅仅关注传统上针对交互界面的设计或从系统的物理层面进行人因工效特点分析，而进一步的也将人、信息与物理系统的交互影响综合进行考虑，考虑整个系统的全生命周期人因研究。在实际的人机交互产品研究中，可将人机交互界面包含的电子交互平台、客户端应用程序、网页、图片和视频等，称为刺激材料。为了解操作者/参与者关于刺激材料的反应，并对刺激材料的功能性进行评价，就需要研究分析操作者/参与者与特定产品的交互行为，进一步判断刺激材料各部分内容、元素、构件是否符合操作者/参与者的使用习惯，是否与其能够实现最佳匹配，并达到了预期的结果。

现有针对电子平台如网页或产品原型的研究多采用拍摄实验过程视频、屏幕截图、屏幕录制等技术记录操作者/参与者与刺激材料的交互行为，同时采用事后绘制兴趣区的方式对于记录的实验过程视频分析操作者/参与者与刺激材料内特定区域内容的交互情况。这种方式准确性较小、效率较低，且需要为实验采集的所有记录逐个绘制兴趣区，无法对操作者/参与者与刺激材料的交互行为进行准确高效的标记和分析。

发明内容

鉴于此，本发明实施例提供了一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，以在操作者/参与者与刺激材料的交互过程中，建立更精确有效的兴趣区并记录交互数据，并进行更深层次的行为分析。

本发明的技术方案如下：

一方面，本发明提供一种基于人机交互界面区域自动识别技术的交互行为数据采集方法包括：

获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；

在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；

根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。

在一些实施例中，所述基于人机交互界面区域自动识别技术的交互行为数据采集方法还包括：