1、May,2023JOURNAL OF CHINESE INFORMATION PROCESSING2023年5月第3 7 卷Vol.37,No.5第5期中文信息学报文章编号：10 0 3-0 0 7 7（2 0 2 3)0 5-0 0 32-12复杂声音条件下言语理解的脑机制研究耿立波1，薛紫炫，蔡文鹏4，赵欣雨1.2,马勇1.，杨亦鸣1,2（1.江苏师范大学语言科学与艺术学院，江苏徐州2 2 10 0 9；2.江苏师范大学语言能力省部共建协同创新中心，江苏徐州2 2 10 0 9；3.陕西师范大学文学院，陕西西安7 10 119；4.海军军医大学心理系，上海2 0 0 433）摘要：文章使用
2、ERPs技术，对比分析了汉语母语者在安静、白噪声、汉语噪声、英语噪声四种听觉条件下加工汉语句子的情况，以探究信息掩蔽条件下语义加工的神经机制。研究发现不同噪声条件下诱发的N400、LPC等ERPs成分具有不同的波形表现，据此该文得出以下结论：言语噪声的语言特征占用了目标声音加工所需的认知和心理资源，资源竞争导致听者对目标信号的识别能力降低，由此产生了“语言干扰”形式的信息掩蔽。对于难度较大的语义加工，言语噪声的可懂度发挥着更关键的作用，当言语噪声为听者极其熟悉或完全陌生的语言，对语义加工的掩蔽干扰较小，当言语噪声为听者接触过的语言但不是母语或主要语言时，掩蔽效应更强。可懂度或不确定性存在交互作
3、用。言语噪声中出现频率较小但能够被听者理解的语义信息即为一种不确定因素，其出现与听者的预期相冲突，更容易引发听者的注意转移，加大了注意及认知资源的消耗。关键词：信息掩蔽；语义加工；噪声类型；言语可懂度；事件相关电位中图分类号：TP391文献标识码：ABrain Mechanism of Speech Comprehension in Complex Sound EnvironmentsGENG Libol2,XUE Zixuan,CAI Wenpeng,ZHAO Xinyu,MA Yong2,YANG Yimingl?(1.School of Linguistic Sciences and A
4、rts,Jiangsu Normal University,Xuzhou,Jiangsu 221009,China;2.Collaborative Innovation Center for Language Ability,Xuzhou,Jiangsu 221009,China;3.School of Chinese Language and Literature,Shaanxi Normal University,Xian,Shaanxi 710l19,China;4.Faculty of Psychology,Naval Medical University,Shanghai 20043
5、3,China)Abstract:By means of ERPs,this paper explore the neural mechanism of semantic processing under informationmasking condition by comparing the processing of Chinese sentences in quiet condition,white noise condition,Chi-nese noise condition and English noise condition.It is found that the wave
6、forms of N4oO,LPC and other ERPs in-duced by different noise conditions are different,which provide evidences for several conclusions.Firstly,the lan-guage information in speech masking occupies the cognitive and psychological resources required by the target soundprocessing,and the resource competi
7、tion reduces the listeners ability to identify the target signals,resulting in theinformation masking in the form of language interference.Secondly,the speech intelligibility of the masker plays amore critical role for difficult semantic processing in the speech masking.The masking effect on semanti
8、c processingis smaller when the language is a very familiar or completely unfamiliar language,while the masking effect may bestronger when the masking noise is the non-native language to which the listener has been exposed.Finally,the lis-tener comprehensible semantic content contained in unfamiliar
9、 speech noise that appears less frequently is morelikely to trigger listener attention transfer if it conflicts with the listener expectations,which,in turn,increases in-formationmasking intensity.Keywords:information masking;semantic processing;noise type;speech intelligibility;event-related potent
10、ial收稿日期：2 0 2 1-10-2 2定稿日期：2 0 2 2-0 9-0 5基金项目：江苏高校青蓝工程基金（2 0 2 2 0 52 3）；国家社会科学基金（2 1&ZD288）33耿立波等：复杂声音条件下言语理解的脑机制研究5期0引言噪声已经成为当今世界必不可少的组成部分，人类的日常言语交际活动常常会受到所处交际环境中其他声音的干扰，这一现象被称为噪声掩蔽（No i s e M a s k i n g)。早期噪声掩蔽研究主要围绕能量掩蔽（EnergeticMasking）展开。研究认为，在内耳或耳蜗等听觉外围 2 ，当目标声音与噪声在时间和频率上发生重叠时，目标声音在频率通道内的能量
11、会被噪声模糊或遮盖，导致进入语音编码阶段的目标声音全部或部分缺失，由此产生能量掩蔽。后续研究发现有些掩蔽现象无法用能量掩蔽的理论和模型去解释，如在时间与频率不重叠的条件下仍会产生掩蔽效应，这类掩蔽效应与能量覆盖无关，涉及更高级的感知觉和认知加工，被学界称为信息掩蔽（InformationalMasking）。显然，能量掩蔽研究中的纯音刺激已经不能满足信息掩蔽研究的需要，以言语刺激为对象成为信息掩蔽研究的重要模式。研究指出，信息掩蔽产生于听觉中枢神经，不仅涉及听觉问题，还与学习、记忆、联想、思维、经验等高级认知加工密切相关 3，其机制可能是目标声音与噪声在高级认知加工层面对心理认知资源的竞争。信
12、息掩蔽机制的理论研究不仅有助于构建听觉中枢系统的神经功能网络，而且对推动自然语言处理技术的实践发展有重要意义。随着深度神经网络的推广，语音识别技术得到了快速发展，经典任务下的机器语音识别率已经超越了大多数人类水平 幻，如微软于2 0 17 年在Switchboard上词错误率降至5.1%，机器语音识别的精确性首次超越了人类。很显然，这一突破仅是理想条件下的结果，若在噪声等复杂声音条件下，即使是目前最先进的计算机模型，其语音识别性能也将显著下降。而人脑具有主动性与选择性，即使在噪声条件下进行语音识别，听觉神经系统也能表现出良好的鲁棒性 4。当前尚属于浅层次的人工感知智能，暂未突破对目标语音进行深
13、度加工及补偿加工的技术壁垒，因而无法在噪声环境中“自救”。未来人工智能语音识别性能的发展不能仅靠算法，必得先调节人脑在复杂声音条件下的言语加工机制，在此基础上赋予机器以人脑的功能，其重点在于理解语义，难点则在于复杂声音条件下的语义理解。1信息掩蔽效应1.1信息掩蔽的诱因早期研究发现刺激的不确定性、目标声音与噪声的相似性能够诱发信息掩蔽，并提出基于刺激不确定性的信息掩蔽（Informational MaskingUncer-tainty)和基于目标-掩蔽相似性的信息掩蔽（Infor-mational Masking Similarity)6。部分学者从加工负荷的成因角度，将信息掩蔽分为四种，即目
14、标声音的成分的错误分配导致的信息掩蔽、噪声引起的注意资源竞争导致的信息掩蔽、噪声的语义内容引起的认知负荷导致的信息掩蔽、以及可识别语音的干扰导致的信息掩蔽 7。这一分类强调言语可懂度的影响，并关注信息掩蔽过程中的认知资源竞争。国内学者基于知觉和认知两个水平对信息掩蔽进行分类，知觉水平的信息掩蔽同噪声与目标声音的相似度相关，而认知水平的信息掩蔽与噪声的可懂度相关 5。所谓不确定性是指在同一个实验的不同试次间的刺激模式的随机性，包括随机改变噪声的频率、时长或起始时间以及空间位置等。Neff等 8 的实验发现，当缩小噪声与目标声音起始时间的差异，听者感知目标声音的表现会随之提高。Kidd等 9 指出
15、通过随机改变噪声的频谱，可提高特定目标纯音的阈限。Allen等 10 1以简单的单音节信号为刺激，发现噪声位置的随机化会使听者对目标音节的识别阈限增加。前人研究多以非语言的纯音模式为研究对象，这种条件下的定义并不适用于言语刺激。Brun-gartl11考察了语义内容的不确定性对语音掩蔽的影响，结果表明，使目标耳中呈现的噪声短语的语义内容保持固定，能够显著提高听者的任务表现。目前以言语刺激为材料，考察掩蔽不确定性对语音掩蔽中信息成分的影响的研究仍然较少。目标声音与噪声的相似性也是影响信息掩蔽的重要因素。一般认为，持续时间、强度、频率、呈现方式(单耳或双耳)等方面相似均会增强信息掩蔽 12)如Br
16、ungart等 13 发现目标声音与噪声的发音者为同性的条件下产生的信息掩蔽强于发音者为异性的条件。在以言语为刺激的研究中,Freyman等 14 发现以英语母语者所产出的英语语句为目标句时，荷兰3420233年中文信息学报人产出的带有口音的英语语句的掩蔽强度小于英语母语者产出的标准英语语句。Calandruccio15考察目标语音与言语噪声（SpeechNoise）的相似度不同的条件下听者的句子识别能力，包括英语、带普通话口音的英语、汉语普通话，结果显示当言语噪声为来自不同于目标语音的语言时，相似性的降低导致目标语音与言语噪声在知觉性空间上发生分离，听者会从这种掩蔽释放中受益。纯音刺激的相似
17、性多限于声学特征，其判定依赖于频谱分析，结果相对客观。相较之下，语言作为一个音义结合的符号系统，其下包含语义、语法、语音等子系统，很难确定言语噪声对目标语音的掩蔽是源于言语噪声和目标语音在声学特征上的相似，还是言语噪声在语言特征上的干扰。目前有关言语刺激相似性的界定仍然缺少客观的判定标准，更多基于主观经验。就言语刺激而言，“可懂”是其语言特征尤其是语义信息被识别并被理解的前提。研究表明不可懂的言语具有言语声学特征但无语义信息，可懂的言语包含更多可理解的信息内容，能够干扰更高级的语义层面的信息处理。VanEngen等 16 】要求英语母语者在包含多个听话人的噪声条件下理解带有母语口音的英语句子，
18、以探究语音掩蔽的不利影响来自声学特征还是噪声的语义信息。噪声条件分别为包含两个说话人的英语噪声、包含六个说话人的英语噪声、包含两个说话人的普通话噪声、包含六个说话人的普通话噪声。结果显示，具有语言特征的噪声对听者的影响不同于无语言特征的噪声，且在包含两个说话人的噪声条件下，英语母语者受到英语噪声的负面影响要大于汉语母语者。这些研究证明，在言语噪声下的句子识别中存在“语言干扰”形式的信息掩蔽，且在言语噪声条件下，与语义加工相关的可懂度、熟悉度等因素似乎更为关键。研究普遍认为在目标语音为听者母语的前提下，以听者的母语或熟悉的语言作噪声所产生的信息掩蔽更强。如Calandruccio17的实验设置了
19、英语、荷兰语和普通话三种可懂度不同的噪声，以英语单语者在句子识别任务中的成绩为依据，结果显示英语噪声、荷兰语噪声、普通话噪声条件下目标句子的识别表现呈梯度提升。上述研究对掩蔽刺激可懂度的设定缺少过渡性的中间参数，这一设置可能会干扰我们对可懂度与信息掩蔽关系的真实了解。最新研究则认为，以听者熟悉的语言和不熟悉的语言作为掩蔽，掩蔽效果相对较小，当掩蔽语音为听者接触过的语言但不是母语或主要语言，掩蔽的情况将变得更加复杂 18 。后续研究应关注语料的多样性，重视语言可懂度的层级变化。1.2信息掩蔽的神经机制当前有关信息掩蔽机制的主要观点认为言语噪声在感知觉和高级认知加工层面占用了目标语音的心理资源。具
20、体而言，用于听觉加工的认知资源的数量相对固定，如果进人听觉系统的有效语音流越多，目标语音流能获得的认知资源越少。NakaiC19要求被试听一名女性朗读故事，在不同的block中使用不同的听觉条件，包括没有噪声、一名男性说话者产出的语音(DV)作噪声、与目标刺激同一名女性说话者产出的语音（SV)作噪声。与没有噪声的基线条件对比，DV条件下双侧上回(Superior Temporal Gyrus,STG)激活，这在一定程度上说明中枢皮层听觉区域既处理了目标语音又处理了背景噪声。在SV条件下，双侧叶、前额叶和顶叶区域的激活明显增强，且与DV条件相比，SV条件在补充前语言区（pre一SMA）、右顶叶和
21、双侧前额叶区域的激活更强烈，研究认为这些区域的激活是为弥补SV条件下背景噪声与目标语音对中枢资源的竞争。Gutschalk等 2 0 要求被试者在时间和频率都随机的音调噪声中检测规律性重复的目标音调，脑磁图结果显示在早期时间窗内，无论被试是否感知到了音调信号，反应都存在且波形强烈，但到后期时间窗（50 一2 50 msec），被试的反应则与目标检测之间存在显著相关，这表明听觉皮层在后期处理阶段参与了需要更多认知处理的任务。ScottL21指出噪声条件下的听觉言语加工之所以会产生额外的前额叶、顶叶和扣带皮层的活动，主要在于被试者对噪声的感知占用了额外的认知控制网络。言语噪声对目标声音的资源的占用
22、，实际上反映了注意机制的调控作用。听觉客体的形成与选择都依赖于选择性注意，在一个具有多个声源的复杂听觉环境中，听觉神经系统大致经历了从分离（Segregating）到整合（Grouping）的加工过程，听者利用不同的线索从混合的声音流中区分出来自不同声源的信息 2 2 。解剖学研究表明，人类的听觉注意机制具有“自上而下”（top-down）与“自下而上”(bottom-up)两条通路 2 3。自上而下的注意通路也叫内源性注意，取决于听者的意识与大脑内部信息，能够根据大脑命令和先验知识对听觉加工进行调控，将关注强制转移到特定声源。自下而上的注意355期耿立波等：复杂声音条件言语理解的脑机制研究也
23、被称为外源性注意，受外界刺激的显著影响，会因一些意外性、独特性因素的影响而增强。正电子发射断层成像（PositionEmissionTomo-graphs）及功能性磁共振成像(Functional MagneticResancanceImaging)研究发现，当听者对目标声音进行选择性反应，随着语流数量增加，左前叶激活最显著，主要位于STG/题上沟（SuperiorTemporalSulcus，ST S)，这一区域的激活表明注意选择加工参与了这一过程。Scott等 2 11发现与复杂的非语音基线（如旋转语音）相比，听者在言语噪声条件下的选择性反应沿着STS向前延伸，就偏侧性而言，这些反应的振幅
24、在左半球更高、更稳固，这表明左侧叶具有一种与选择注意相关的特殊的功能，而先前研究已经证明，注意力控制主要激活左半球的相关脑区，包括额下回（InferiorFrontalGyrus，I FG）、上顶叶Superior Parietallobe，SP）和顶内沟(Intraparietal Sulcus，IPS)2 2 。神经科学研究证实了注意机制在听觉掩蔽中的作用，但在信息掩蔽加工过程中，注意机制的激活受哪些因素与活动的驱动，仍需要深入讨论。2研究方法实验在前人研究的基础上，通过事件相关电位技术（Event-relaedPotential,ERP），采用听觉语义判断任务，句子类型（语义合理句/语义
25、违反句）听觉条件（安静/白噪声/汉语噪声/英语噪声）被试内两因素混合设计，考察不同噪声条件下听觉句子语义加工的神经机制，具体实验目的及内容如下：（1）考察信息掩蔽效应的性质关于信息掩蔽效应的性质一直存在争议，实验以听觉汉语句子为目标刺激，设置了安静、白噪声、汉语噪声与英语噪声四种听辨条件，综合考察信息掩蔽条件下听觉句子加工的机制，及信息掩蔽的认知加工深度，为此提供电生理学方面的证据。（2）考察言语噪声可懂度对信息掩蔽的影响本实验通过对比两种不同可懂度的言语噪声（来自母语的汉语噪声、来自二语的英语噪声）下的语义加工情况，考察言语噪声的可懂度对信息掩蔽效应的影响，及注意机制、预测机制等高级认知加工
26、在信息掩蔽中的作用。2.1实验被试本实验共招募15名汉语母语者，年龄在2 3一2 8岁之间。被试均为右利手，视力或矫正视力均在1.0以上，双侧听力正常，无耳科疾病、脑外伤或神经系统病史。正式实验前对被试的英语水平和注意力水平进行测评，所有参与实验的被试的综合英语水平均属于intermediatelevel、注意力测评分数均达标 2 5本研究经语言与认知神经科学江苏省重点实验室伦理委员会审核通过。2.2实验语料2.2.1噪声语料汉语噪声由四名普通话标准的汉语母语者录制；英语噪声则由四名英语母语者录制，为平衡性别因素的影响，每种言语噪声的产出者均为两男两女。在隔音的录音室，每位录音者大声朗读一篇指
27、定的文章选段。所有语音材料均被转换为WAV.格式，并使用CoolEdit2.1及Praat语音编辑软件分别对汉语噪声和英语噪声进行剪切及参数设置，尺度音强（ScaleIntensity）设置为6 8 dBSPL，采样率设置为4410 0 Hz。2.2.2目标语料实验采用听觉语义判断任务，语料设计参考张华等，共包含16 0 个语义合理句和16 0 个语义违反句。所有语料均为包含5个关键词的简单句，句法结构为“修饰语十主语十谓语十修饰语十宾语”或“主语十状语十谓语十修饰语十宾语”。语义违反句通过调换语义合理句的句末词获得。经过语料接受度调查，语义合理句的平均可接受度达到8 0%及以上，语义违反句的
28、平均语义违反度达到8 0%及以上。目标语料由一名普通话标准的汉语母语者（女性，年龄2 3岁)在隔音的录音室录制，采样频率设置为4410 0 Hz、分辨率设置为16 bit。目标语料示例如表1所示。表1语义判断实验语料条件例子语义合理句无情的病魔吞噬了年轻的生命语义违反句无情的病魔吞噬了年轻的手势目标语料与噪声语料叠加，目标语料呈现水平为6 5dBSPL，噪声语料呈现水平为6 8 dBSPL，信噪比(signal-noise radio,SNR)为一3dB。参照OxfordUniversityPress and University of CambridgeLocalExaminationsSy
29、ndicate英语水平量表。汉语噪声文本均选自散文海外版；英语噪声文本均选自En g l i s h D i g e s t。经测评，所有文章不存在过时或有争议的内容。362023年中文信息学报2.3实验程序电脑屏幕中央呈现实验指导语，被试阅读后按任意键开始实验。正式实验开始，电脑屏幕中央首先出现一个10 0 0 ms的“十”，同时插人式耳机播放噪声，10 0 0 ms后播放目标句，目标句时长约为3000一50 0 0 ms，目标句呈现完毕，屏幕中央出现一个“?？”，即开始按键判断，语义合理按“1”键，语义违反按“3 键，被试按键后“?？即刻消失。判断屏的最大时长为2 0 0 0 ms，若被试
30、未能在规定时间内做出判断，判断屏呈现结束后自动切换，每个trial之间有一个40 0 一6 0 0 ms的随机间隔。实验共分为4个block，每个block随机对应一种听觉条件，每个block内的语料随机呈现，前后两个block之间有短暂休息，但噪声不终止。具体内容如图1所示。“+”噪音目标句“?30005000ms噪音判断“+”最长2 0 0 0 ms噪音间隔400600 ms噪音下一试次.图1语义判断实验流程2.4脑电记录实验采用E-primel.0编程，Neuroscan64导Ag/AgCI电极帽记录脑电，电极按国际10 一2 0 系统放置。在线记录脑电时，以鼻尖为参考，接地点在大脑中线
31、FZ和FPz的中点，左眼上下垂直位置记录垂直眼电，双眼外侧眼角水平位置记录水平眼电。实验中所有电极与头皮之间的电阻降至5k以下。在线采样率为10 0 0 Hz，滤波带通为0.0 5一10 0 Hz。2.5数据处理与分析使用Neuroscan4.3对脑电数据进行离线分析处理。首先剔除波形杂乱或被污染的脑电并去眼动，接着进行脑电分段，分析时程为刺激呈现前100ms至刺激呈现后10 0 0 ms，随后进行第一次基线校正，设置30 Hz（2 4d B/o c t）的低通滤波，然后进行去伪迹处理、第二次基线校正，最后对安静、白噪声、汉语噪声与英语噪声，语义合理与语义违反八种条件下的脑电数据进行分类叠加平
32、均。将所有有效被试的脑电进行组平均叠加处理，根据采集到的ERPs总平均波形图，主要诱发了N100、N40 0、LPC 成分，选取的时间窗为10 0 一250ms、350 一50 0 ms、7 0 0 一8 50 ms，选取的电极点包括左前脑区、左后脑区、右前脑区、右后脑区、中间脑区（CZ、C1、C3、C2、C4、PZ、P1、P3、P2、P4）。使用SPSS22.0软件进行重复测量方差分析（Repeatedmeasures Analysis of Variance，RA NO VA),并使用Greenhouse-Geisser法对不符合球形假设的检验进行校正。对涉及到实验条件且具有统计学意义的交
33、互作用进行简单效应分析，采用Bonferroni方法进行多重比较校正，显著性水平为p0.05。3实验结果3.1行为学数据结果为保证被试在实验过程中认真加工实验语料，本实验设置了句子类型判断任务，实验程序软件记录了听觉语义判断实验的反应时（ReactionTime）和正确率（Accuracy），如表2 所示。对正确率进行重复测量分析发现，听觉条件的主效应显著（F（2，44）=12 7.430，P=0.0 0 0）。句子类型的主效应显著（F(1，2 2）=6.6 59,P=0.0 17），语义合理句的正确率显著高于语义违反句。听觉条件和句子类型存在交互作用（F(2，44)=6.340,P=0.0
34、0 4）。375期耿立波等：复杂声音条件语理解的脑机制研究表2行为学数据正确率反应时听觉条件句子类型均值标准差均值标准差合理0.923440.049555408.49375133.430323安静违反0.935.940.049974415.55156119.330137合理0.823440.09936481.71875140.190289白噪声违反0.726560.138885616.71094194.423566合理0.776.560.092407555.79375165.713697汉语噪声违反0.560940.207559632.6625205.893059合理0.681.250.177
35、365563.34531166.978.417英语噪声违反0.459.370.166051646.3234.94188对反应时进行重复测量分析发现，听觉条件的主效应显著（F（2，44）=33.8 18，P=0.0 0 0）。句子类型的主效应显著（F（1,2 2）=15.19 3,P=0.0 0 1）。句子类型和听觉条件存在交互作用（F（2，44）=9.9 35，P=0.000），对此进行简单效应分析。3.2ERP数据结果语义判断实验对N100、N40 0 与LPC三个ERPs成分各个时间窗的平均波幅值（AverageFigure）与潜伏期（Lantency）进行听辨条件（4个水平：安静、白噪声
36、、汉语噪声、英语噪声）x句子类型（两个水平：语义合理句、语义违反句）x脑区（5个水平：左前脑区、左后脑区、右前脑区、右后脑区、中间脑区）的三因素重复测量方差分析，具体条件的ERPs波形图如图2 图4所示。CZC2PZ-10.0UVP2安静噪声白噪声100.0150.0400.0650.0900.0汉语噪声英语噪声10.0uV图2不同听觉条件下语义合理句的波形图3.2.1N100就N100成分的波幅而言，脑区主效应显著（F（4，6 0）=8.7 2 1,P=0.0 0 0），左后脑区、右后脑区与中部脑区的波幅均大于左前脑区；右后脑区与中部脑区的波幅显著大于右前脑区。噪声脑区有交互作用（F（8，1
37、2 0）=7.0 9 7，P=0.000），经简单效应分析，对于左前脑区，安静条件的波幅既显著大于汉语噪声条件又显著大于英语噪声条件，对于右前脑区，安静条件的波幅既显著大于汉语噪声条件又显著大于英语噪声条件；对于安静条件，左前脑区显著大于左后脑区、右后脑区与中部脑区的波幅；右前脑区显著大于左后脑区、右后脑区和中部脑区；中部脑区大于右后。噪声句子类型有交互作用（F（2，30）=3.7 8 9，382023年中文信息学报CZC2PZ-10.0uVP2安静噪声白噪声-100.0150.0400.0650.0900.0汉语噪声英语噪声10.0uv图3不同听觉条件下语义违反句的波形图安静条件白噪声条件汉
38、语条件-10.0uV语义合理句150.0400.0650.0900.0100.0语义违反句英语条件10.0uV图4不同听觉条件下语义合理与语义不合理句的对比波形图P=0.034），经简单效应分析，对于语义合理句，安静条件的波幅显著大于汉语噪声条件；对于语义不合理句，汉语噪声条件的波幅显著大于英语噪声条件。句子类型脑区有交互作用（F（4，6 0）=2.59 6，P=0.045），经简单效应分析，对于语义不合理句，左前脑区显著大于左后脑区、右后脑区和中部脑区，右前脑区显著大于右后脑区，中部脑区显著大于右后脑区。3.2.2N400就N400成分的波幅而言，脑区主效应显著（F（4,6 0）=4.342
39、,P=0.0 0 4)，左前脑区的波幅显著大于左后脑区，右前脑区的波幅显著大于右后脑区。听觉条件脑区有交互作用（F（8，12 0）=4.424，P=0.0 0 0），经简单效应分析，对于安静条件，左前脑区的波幅显著大于左后脑区、右后脑区与中部脑区；右前脑区的波幅显著大于右后脑区。听觉条件句子类型有交互作用（F（2，30）=7.009，P=0.0 0 3），经简单效应分析，对于汉语噪声条件，语义违反句的波幅显著大于语义合理句，对于英语噪声条件，语义合理句的波幅大于语义违反句；对于语义合理句，英语噪声条件的波幅显著大于汉语噪声。3.2.3LPC就LPC成分的波幅而言，听觉条件X句子类型有交互作用（
40、F（2，30）=6.0 9 3，P=0.0 0 6），经简单效应分析，对于汉语噪声条件，语义合理句的波幅显著大于语义违反句，对于英语噪声条件，语义违反句的波幅显著大于语义合理句；对于语义合理句，汉语噪39耿立波等：复杂声音条件下言语理解的脑机制研究5期声条件的波幅显著大于英语噪声。噪声句子类型脑区具有交互作用（F（8，12 0）=4.8 39,P=0.0 0 0），经简单效应分析，对于汉语噪声条件，在左前脑区、左后脑区、右前脑区、右后脑区与中部脑区，语义合理句的波幅显著大于语义违反句；对于英语噪声条件，在左前脑区、左后脑区、右前脑区、右后脑区与中部脑区，语义违反句的波幅显著高于语义合理句。对于
41、语义合理句，在左前脑区、左后脑区、右前脑区右后脑区和中部脑区，汉语噪声条件的波幅显著大于英语噪声条件。4分析与讨论4.1语言层面上的信息掩蔽不同噪声类型对语义加工产生不同性质的掩蔽效应，能量掩蔽与信息掩蔽为主要两类。前人研究认为白噪声产生能量掩蔽，言语噪声既能产生能量掩蔽又能产生信息掩蔽，包含两个或两个以上说话人的竞争性言语噪声被认为是最有效的信息掩蔽形式 2 6 。信息掩蔽涉及更高级的认知加工阶段，其对语义加工的干扰作用远大于能量掩蔽。语义判断实验设置了安静、白噪声、汉语噪声与英语噪声四种听觉条件，行为学数据方面，安静条件下的语义判断任务的正确率显著大于白噪声、汉语噪声、英语噪声条件，而白噪
42、声条件下的正确率又显著大于汉语噪声与英语噪声条件。这说明白噪声与言语噪声都产生了掩蔽效应，但白噪声与言语噪声所产生的掩蔽效应存在差异，即言语噪声产生的掩蔽更强，对语义认知加工的干扰更大。ERP数据与行为学数据较为一致，白噪声条件下语义合理句与语义违反句所诱发的N400成分的波幅差值显著大于英语噪声条件。这表明在英语噪声下的语义合理句和语义违反句的加工均受到“语言干扰”形式的信息掩蔽，而导致加工不充分，反映在ERP数据上为两种句子类型条件下N400波幅缩小且差异较小。此外，汉语噪声与英语噪声均在7 0 0 一9 0 0 ms（刺激呈现后3s左右）的时间窗内出现了显著的正波，即LPC，该成分在8
43、0 0 ms左右达到峰值。情绪效应的相关研究将LPC作为分析评价过程的重要指标之一 2 7 ,LPC反映了加工过程中认知资源的持续投人 2 8 ，在控制性加工过程中，个体根据自身需要和环境变化进行资源分配，由深度处理任务引起的LPC振幅大于浅层处理任务。这表明在语义判断任务中，当相同通道传递的言语噪声伴随目标语音呈现时，除能量掩蔽会屏蔽或覆盖部分目标声音的能力外，噪声与目标声音还会在认知加工层面产生资源竞争，致使人脑神经网需要在后期时间窗持续投入认知资源，以弥补前期语义加工所受的阻碍。4.2语言可懂度与信息掩蔽的关系SPSS重复测量结果验证了ERPs波形图上的波幅趋势，对于N400平均波幅值，
44、听觉条件与句子类型具有交互作用，汉语噪声条件下语义违反句的波幅显著大于语义合理句，英语噪声条件下语义合理句的波幅大于语义违反句。传统的语义加工研究表明，N400成分的波幅显示了语言认知加工的难易程度，加工难度越大，N400波幅越大。一般来说，语义违反句加工较语义合理句更复杂，在安静条件下，语义违反句诱发的N400波幅应强于语义合理句。但在本实验中的英语噪声条件下，语义违反句诱发的N400波幅显著缩小，甚至小于语义合理句诱发的N400成分。这表明英语噪声下的目标语义违反句的语义加工受到了更大阻碍，这一阻碍在很大程度上源于英语噪声对认知资源的大量占用。由于难以保证在语义合理句与语义违反句条件下诱发
45、的N400成分有无言语噪声的参与，我们将各听觉条件下的语义合理句与语义违反句条件下诱发的N400波幅相减，得出了各听觉条件下语义合理句与语义违反句的N400波幅差值，然后对各听觉条件下语义合理句与语义违反句的N400波幅差值进行了重复测量分析。结果显示白噪声条件下的N400波幅差值与英语噪声条件下的波幅差值具有显著差异，与汉语噪声条件的波幅差值无差异。前人研究已经证明，白噪声产生能量掩蔽，言语噪声产生能量掩蔽与信息掩蔽的叠加效应，且能量掩蔽对语义加工的干扰作用小于信息掩蔽效应。再结合本实验结果可以更明确得出，英语噪声较汉语噪声对目标汉语句语义加工的信息掩蔽效应更强。这与相似性占主导的前人研究存
46、在分歧。后期时间窗诱发的LPC波幅趋势与N400一致，对于汉语噪声条件，语义合理句诱发的LPC波幅显著大于语义违反句，对于英语噪声条件，语义违反句诱发的LPC波幅显著大于语义合理句。大脑神经网络中用于某一特定任务的心理认知资源的数量是有限的，如果那些包含语义信息的言语噪声进人听者的中枢神经系统，必然会分割原本用于目标语音的资源。语义合理句的加工难度相对较小，消402023年中文信息学报耗的认知资源相对较少，剩余的认知资源足够用于加工言语噪声。相比之下，语义违反句的加工难度较大，需要消耗的心理认知资源更多，剩余用在言语噪声上的资源则相对减少，而英语噪声也需要耗费较大的认知资源，则必然会与目标语音
47、产生资源竞争，这也导致在后期时间窗需要投入更多的认知资源。为什么本实验中英语噪声的掩蔽强度大于汉语噪声呢？这无法单纯依靠声学或语音上的相似性去解释，我们认为当汉语母语者对汉语句子进行难度较大的听觉认知加工时，言语噪声的可懂度是关键的影响因素，但可懂度与信息掩蔽强度并非简单的正比关系。在难度较大的语义加工任务中，以听者熟悉的语言或不熟悉的语言作为噪声，掩蔽效果相对较小，而当噪声为听者接触过的语言但不是母语或主要语言，在其语义内容既包含可懂信息又包含不可懂信息的条件下，掩蔽强度可能更大。由此，我们猜测噪声的可懂度与信息掩蔽强度之间有可能呈现一种不规则的倒U型的曲线关系，即随着言语噪声可懂度的增大，
48、掩蔽程度逐渐增强，当言语噪声中的可懂信息量与不可懂信息量达到某个临界值时，掩蔽程度可能会达到峰顶，而后逐渐递减。4.3信息掩蔽下人脑的主观能动性噪声被部分理解所造成的可懂度的不确定性反映了人脑加工的何种机制？实验后调查问卷为我们提供了一个有趣且有意义的发现。部分被试指出，对于可懂度极高的汉语噪声，他们不仅能够轻松理解汉语噪声的内容，而且还能比较容易地从听觉上转移对汉语噪声的注意。但对本实验使用的英语噪声，他们只能理解其中的部分单词或句子，所以当在一连串较难懂的英语语流中听到可以理解的英语单词或短语时，会令人“兴奋”，并不受控制地想去加工更多的语义信息。也就是说，实验结果很难排除不熟悉的语言噪声
49、被听者部分理解的可能性，这种可能性所带来的不确定性会影响注意控制与转移机制，最终对信息掩蔽产生影响。信息加工环境往往并非只存在一个声源或语流，在包含多个声源的复杂听觉环境下，注意机制决定了哪些声音能够进人听觉处理通道。选择注意机制（SelectiveAttention)有两种机制，一种是增强目标听觉刺激以促进这个信息的处理，另一种是抑制信息的输人或输出以阻止无关信息的加工。研究表明当可量化的信息处理有限时，选择注意机制会根据信息自身的特征来调控对信息的筛选 2 9 。一般认为如果注意力可以迅速集中在目标刺激上，掩蔽效应将被大大削弱甚至消失 30 1那么，在包含多个声源的复杂听觉环境下，言语噪声
50、中哪些特征的语义信息能够导致听者的注意转移呢？本研究认为言语噪声中的意外性、独特性、新颖性因素是影响注意选择的关键特征。Moray311发现，当听者在噜杂的听觉环境中听到了高度相关或熟悉的刺激（如自己的名字），既使这一刺激出现在一个未被注意的听觉流中，也依然能够吸引听者的注意。Conway32指出这个效应越强，听者越难选择性听到本应被注意的听觉流。神经科学的研究发现，噪声中的不确定因素能够影响自下而上的外源性注意，打破注意双通路之间的平衡，有效地转移听者的注意力，使注意力指向目标刺激的活动发生延迟，增强听觉努力，产生较强的掩蔽效应。应该明确的是，那些意外性的不确定因素并不只限于声学或物理特征，
