1.研究背景图像和文字是视觉传播的重要媒介。
与文字相比，图像创造了直观和生动的感觉。
概念可视化在视觉设计领域发挥着重要的作用，在我们的头脑中构建了多模态映射。
普遍接受的双码理论认为，所有的概念可以分为两类，具体的和抽象的。
具体的词语可以通过附加的意象代码来体验，而抽象的词语只有语言代码。
分类关系是对具体词语进行多模态映射讨论最多的一种。
事件相关电位(ERPs)显示，N300效应存在于类别错配和下属错配之间，而N400效应存在于基础错配和下属错配之间。
当进一步细化为自然和人工的类别时，不匹配的图片比匹配的图片具有更低的准确率和更长的RTs，自然和基本的图片比对应的图片具有更长的RTs，但自然匹配的交互试验比人工匹配的交互试验花费更长的RTs。
ERP推断N300索引的一致性和抽象，而P600成分意味着索引的类别。
考虑到概念可视化的现状，设计方案之间的差异远非简单的好坏判断，ERP实验为探讨多模态加工机制提供了良好的参考。
2.研究方法2.1 实验被试18名被试（10名女性，8名男性，年龄范围在21-27岁，平均年龄=22.5，SD=2.7）母语为汉语，右利手，没有神经、精神或情绪障碍，也无教育剥夺经历。
所有的被试活动实验的知情同意权。
2.2 实验材料采用命名试验选根。
选取的60对灰色图像具体词在熟悉度得分和命名时间上无显著差异。
要求10名工业设计的研究生尽可能从原型中运用灰度和线条图概念可视化。
每张图片的轮廓为5像素，图像大小为128128像素(带背景)。
同时，具体的词语在主题上或隐喻上被抽象。
文字被精炼成两三个24像素大小的汉字和微软雅黑字体。
所有方案均采用五分制进行评估，选出评分最高的图片和概念，构建60组，如图1所示。
为避免判断同一性带来的不利影响，本实验采用15组进行练习，并在实验中作为判断干扰进行交叉。
其它45组是最终目标。
图1 刺激示意图2.3 实验流程刺机呈现在一个27寸的屏幕上，亮度为19201080像素。
被试与屏幕中心的距离约为620mm。
实验程序是通过E-prime 2.0软件编写。
在每次实验开始时，在黑色背景的屏幕中央出现一个注视点“+”，持续约600ms，随后，图片（S1）呈现1000ms，随后是随机持续时间的空屏，时间持续为600-800ms。
单词（S2）出现在屏幕上，直到被试做出反应。
要求被试从S1到S2比较匹配或不匹配，并通过用左手或右手食指按两个键(F或J)中的一个做出反应。
对左手和右手的匹配和不匹配反应的分配在被试间平衡。
在他们回答后，一个空白屏幕随机出现，持续时间为600 – 800ms。
记录S2出现后的ERPs。
2.4 数据采集和处理采用国际10 - 20系统的32 导电极帽，以FCz电极作为接地电极，eego mylab放大器（ANT Neuro, Inc）连续记录(采样率500 Hz)的脑电数据，所有电极的阻抗均维持在5 kΩ以下。
利用EEGLAB工具箱在MATLAB中进行预处理。
离线时处理时，进行低通滤波(30 Hz/24 dB)，并转换参考为M1和M2电极的平均值。
剔除低信噪比片段的脑电数据，然后进行独立成分分析(ICA)。
使用ADJUST 1.1.1校正眼电(EOG)、肌电(EMG)和汗液等伪迹。
根据S2出现时的-200 ~ 1000 ms将脑电数据分为多个时段，刺激前200 ms为基线。
时段按条件分类，剔除幅度超过±100 μV之外的数据。
结果平均剔除率为9.5%，每个被试在每个条件下平均保留41个epoch。
总平均波形如图2所示。
本研究提取了不同条件和区域的振幅值。
对于所有条件的时域信号的幅值差异使用spss11进行分析。
图2 四种多模态映射诱发ERP总平均波形如图2和图4所示，在条件下诱导了N1、P2、N400和P600效应。
结合图3和图5，N1和P2成分在前部区域更为明显，N400成分在中央-顶叶区域差异明显，P600效应在整个区域差异显著。
峰值明显的是在N1（130-180ms），P2（230-280ms）。
选取FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4电极附近的平均振幅为50 ms进行分析。
N400 (300 ~ 500 ms)和P600 (600 ~ 800 ms)的波幅比较 “温和”，因此将时间过程除以100 ms，选择平均波幅进行分析(N400的FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6；FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6、P3、Pz、P4用于分析P600)。
3.实验结果行为结果：条件的主效应显著，形象化与精神性结合所用的时间都比精神性结合所用的时间短。
ERP结果：图3.在不同条件下分别在130 -180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的地形图图4. 四种多模态条件下的ERP差异波图5.时间序列中多模态映射之间的差异引发的地形图。
N1成分中，类型的主效应边缘显著，其它效应不显著。
P2成分中，类型和位置的交互效应显著，左侧类型的幅度值更大。
N400成分中，类型和位置的交互效应显著，在额中央，中央，和中央顶叶区，精神型幅度值大于形状型。
P600成分中，类型的主效应显著，类型和位置的交互效应显著，精神性的平均振幅大于形状型的平均振幅，形状-抽象的振幅与形状-混凝土的振幅呈现相反的趋势。
4.结论概念形象化是一项主观工作，可能会在不知情的情况下产生认知危险。
行为结果表明，形状相似在速度和准确性上优于精神相似，而具体的词比抽象的词更容易被接受为一种相关的图像。
N1、P2和N400成分在所有条件下都被提取出来，表现出与行为结果相似的表现，表明多通道映射之间的加工开始时间差异。
精神相似-具体概念条件与其他三种条件相比，得到了明显的P600/LPC，说明了多模态映射中具体性效应的复杂机制。
5.名称及DOI号Zhou, L. , Ma, J. , X Zhou, Niu, Y. , & Xue, C. . (2021). Which is better for concept visualization? shape or spirit similarity: evidence from event-related potentials. Neuroscience Letters, 749, 135755.DOI：10.1016/j.neulet.2021.135755全文完结，整理不易，看不完记得收藏，最后希望点赞支持一下。

如果你对脑电的研究也感兴趣的话，欢迎一起学习交流 https://www.psytech.com.cn/