[发明专利]一种多模态生理和行为数据融合采集系统

说明书

技术领域

本发明属于实验心理学与生理心理测量技术领域，具体涉及一种多模态生理和行为数据融合采集、分析、可视化的系统。

背景技术

人们的心理和情绪状态有多种表现方式，如语言、表情、动作以及各种生理信号。单一的生理或行为参数或其特征指标很难准确反映人们的心理和情绪状态变化，因此，基于多模态生理和行为信息的数据融合采集技术已被越来越广泛地应用于心理学、人机交互、人工智能等领域。

目前，采集受试者的生理和行为数据时，需要使用到多个数据采集设备对不同的生理和行为数据进行同步采集。由于各个数据采集设备都具有独立的数据采集和存储系统，所采集到的数据分别记录到自己对应的计算机存储单元中，然后分别对各自采集的数据进行分析，最后将各个数据分析后的特征或者指标导入数据融合反馈系统中再进行融合分析。由于不同的数据采集设备都需要独立的采集和存储系统，采集的数据模态越多，投入的系统设备成本越大。此外，不同模态的数据之间可能会相互干扰，需要在原始数据的融合采集过程中进行相应的处理，而传统的数据采集设备不能实现数据的融合采集，因此，会影响对受试者心理和情绪状态分析的准确性。最后，很多的数据采集设备不支持数据的在线分析，因此无法基于实时采集的数据给出在线的分析结果。

发明内容

因此，本发明为了解决现有数据采集设备间无法在同一设备中实现数据的同步采集和融合分析的技术问题，为此，本发明提供了一种多模态生理和行为数据融合采集系统。

所采用的技术方案如下：

一种多模态生理和行为数据融合采集系统，所述系统包括后台处理器和数据采集单元，所述后台处理器集成于一台计算机中，用于接收所述数据采集单元所采集的数据，所述数据采集单元包括:

生理采集模块，与所述后台处理器连接，用于采集受试者完成测试任务过程中所产生的神经生理数据；

行为采集模块，与所述后台处理器连接，用于采集受试者在完成测试任务过程中所产生的行为数据资料；

所述后台处理器包括数据存储模块、时序模块和数据分析模块，所述数据存储模块与所述生理采集模块和行为采集模块实现数据连接，用于接收所采集到的生理数据和行为数据资料；所述时序模块用于将所采集到的生理数据和行为数据按照时间顺序存储到所述的数据存储模块中；所述数据分析模块用于对所述数据储存模块中的生理数据和行为数据资料进行分析，在线得出分析结果。

所述数据存储模块设有多个数据存储区，所述数据存储模块对所述数据采集单元中的各种数据采集模块所采集到的数据进行分类存储，所述数据分析模块对各数据进行同步在线分析。

所述系统还包括数据展示单元，其与所述后台处理器连接，用于对外显示所述数据采集单元的原始采集数据及所述后台处理器的在线分析结果。

所述数据采集单元还包括环境采集模块，用于采集受试者在测试时所处外部环境数据，其与所述后台处理器实现数据连接。

所述生理采集模块包括脑电数据采集设备、心电数据采集设备、皮肤电数据采集设备、血压数据采集设备、呼吸数据采集设备、体温数据采集设备和肌电数据采集设备中的一种和几种。

所述的行为采集模块为视频采集设备，用于记录受试者的面部表情、眼动和语音的行为数据。

所述系统中设有多个所述的数据采集单元，多个所述数据采集单元分别与同一所述后台处理器实现数据传输。

所述行为采集模块与所述生理采集模块分别通过无线与所述后台处理器实现数据传输。

所述系统中设有多个所述数据展示单元，所述数据展示单元与所述数据采集单元一一对应连接。

所述数据展示单元为视频显示设备。

本发明技术方案，具有如下优点：

A.本发明在采集系统中设置了后台处理器和数据采集单元，数据采集单元中的生理采集模块和行为采集模块分别与同一后台处理器形成数据连接，生理采集模块与行为采集模块所采集到的受试者的生理和行为数据直接传输到后台处理器中的数据存储模块，大大降低了数据采集系统的成本。

B.本发明通过时序模块将多模态数据实现在同一时间轴上的采集，并通过数据分析模块对所有采集到的数据进行同步分析，提高了数据融合分析的效率；更重要的是，多种电生理信号在同步采集过程中相互之间会产生噪声干扰；本发明在原始数据的融合采集过程中采用去燥、标准化和归一化等数据预处理方法，可以有效去除数据间的噪声干扰，提高对受试者心理和情绪状态分析的准确性。