近日，天津大学神经工程团队发表听觉注意解码最新研究成果，可在复杂声学场景、多种声音源情况下，基于头皮脑电信号辨识出听者感兴趣的中文语音流。该研究成果利用了非侵入式脑电技术进行听觉注意的神经解码，基于LSTM(Long Short-Term Memory)解码架构设计了适用于中文普通话的语音包络(Speech Envelope)重构模型，为开发新型听力设备、提高听障人士(尤其是声调语言使用者)在复杂声学环境中的聆听体验和理解能力提供方法支撑。

正常人可以从复杂的声学场景中提取感兴趣的语音流，然而听力障碍患者很难或无法做到这点。尽管现有助听设备能对背景噪声进行有效的降噪处理，但却无法对佩戴者感兴趣的听觉注意对象进行有效识别。此外，现有人工耳蜗采用的电刺激策略尚无法有效反映自然听觉状态下所接收的声调、时间-相位等信息，造成听障人士对于声调语言或者音乐的感知存在不足。因此，亟需研究高效的听觉注意解码方法，尤其是要适用于中文普通话这类抑扬顿挫的声调语言。

本研究在团队以往基于非侵入式脑电技术实现人工耳蜗儿童听觉康复客观评价的基础上，进一步探索如何利用脑电技术进行听觉注意解码，以提高听力障碍患者在复杂声学场景下的信息处理能力。本工作设计了健康被试的双耳分听实验范式，建立了基于头皮脑电信息的LSTM网络架构，更好的完成了中文普通话的语音包络重构，也探讨了β脑电节律、前额叶和颞上回的脑电数据对于听觉注意解码的重要性。研究结果跟现有的MEG(Magnetoencephalography)、EEG(Electroencephalograph)和ECoG(Electrocorticography)数据的听觉注意解码方法相比，本工作在实现较高解码准确率的前提下，所需的解码时间窗长度更短，即解码需要的语音素材更少，这为以后临床应用提供了理论和技术支撑。

图1 听觉注意解码实验范式

图2 解码结果及对比图

图3 论文首页

研究成果以《Auditory attention decoding from EEG-based Mandarin speech envelope reconstruction》为题发表于《Hearing Research》，该刊物是国际听力领域最具权威及影响力的专业学术期刊之一，中科院SCI期刊听力学与言语病理学、耳鼻喉科学一区top期刊。研究团队将在现有成果基础上进一步开展在线听觉注意解码以及基于脑电信号的非侵入式神经调控助听设备研究，探索优化的人工耳蜗编码策略并推进临床应用。