[发明专利]基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置

权利要求书

1.一种基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，包括：

获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；

在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；其中，将所述静态兴趣区和/或所述动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签；所述行为数据为控制设备产生的数据；

根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。

2.根据权利要求1所述的基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，所述选框为矩形选框，通过确定所述选框左上角顶点与所述刺激材料左上角顶点的相对位置，并结合所述相对位置以及所述选框的长和宽标记所述选框。

3.一种基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，包括：

根据权利要求1～2任意一项所述基于人机交互界面区域自动识别技术的交互行为数据采集方法，获取操作者/参与者与刺激材料交互过程中，各静态兴趣区和/或动态兴趣区对应的交互数据；

回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据；

按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若所述交互数据显示交互过程中包含按照所述分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据所述交互时段和/或所述交互频次反映所述操作者/参与者的行为模式。

4.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括单一分析形式和成组分析形式；

所述单一分析形式为针对单个所述静态兴趣区和/或所述动态兴趣区产生的交互数据进行展示和分析；

所述成组分析形式包括将多个所述静态兴趣区和/或所述动态兴趣区按照内容进行分组或添加标签，针对指定分组或指定标签的多个所述兴趣区进行批量展示和分析。

5.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括：

根据所述交互数据中的所述眼动数据，结合所述刺激材料形成注视热点图和/或注视轨迹图；

将所述交互数据中的所述生理指标数据和所述行为数据按照对应的时间点标记在所述注视热点图和/或所述注视轨迹图中。

6.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括绝对分析形式和相对分析形式；

所述绝对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程按照实际时长进行回放和分析；

所述相对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程延展或收缩至同一时长进行回放和分析。