9月1日，清华大学计算机系计算机系神经与认知计算中心副教授刘宝林和他指导的硕士生王忠宁等的研究
论文在认知神经科学领域国际一流
学术期刊Neuroscience（神经科学）上在线发表，这是刘宝林教授今年第三次在该期刊上发表研究成果，该论文预计于9月29日在Neuroscience纸版发表。该论文题为“Semantic association of ecologically unrelated synchronous audio-visual information in cognitive integration: an event-related potential study”（生态不相关的同步视听觉信息在认知整合中的语义关联事件相关电位研究）。
此前在2011年1月21日，刘宝林曾经与他的学生金之星在Neuroscience上以第一完成单位的身份发表过一篇学术论文“异步视听觉信息处理过程中时间异步性对多感官认知整合影响的ERP研究”（The influence of temporal asynchrony on multisensory integration in the processing of asynchronous audio-visual stimuli of real-world events: An ERP Study）。该论文采用ERP（Event-related potentials）研究方法，通过调整多感官刺激材料中视频关键动作和声音之间的时间异步性，证明了不同感官信息输入之间的异步性对人脑认知整合的影响。研究同时发现，随着视听觉信息之间的异步性的增大，多感官认知整合会被弱化。并且早期的多感官整合存在如下规律：AV情况下（视听觉信息同步）认知整合最强，其次是V_A情况（视频关键动作出现在声音之前），而A_V情况下（声音出现在视频关键动作之前）多感官认知整合最弱。这篇论文是清华师生首次作为第一完成单位在Neuroscience上发表论文。
2011年3月31日，刘宝林和硕士生王忠宁等再度在Neuroscience（神经科学）上在线发表了题为Cognitive integration of asynchronous natural or non-natural auditory and visual information in videos of real-world events: An event-related potential study（异步自然或非自然视听觉信息认知整合的事件相关电位研究）的研究论文。该论文研究了人脑对异步自然或非自然视听觉信息的认知整合，发现存在两种不同的认知整合机制。一种是对视频与自然声音的整合，其第一个阶段为人脑将接收到的信息和人脑中的语义记忆相联系；第二个阶段是评估接收到的与真实世界中多感官信息不一致的语义信息。另一种是对视频与非自然声音的整合，其第一个阶段和视频与自然声音整合的第一个阶段类似，而第二个阶段与人脑对非自然声音信息的重认知记忆有关。
在9月的最新论文中，研究人员研究了生态不相关的同步视听觉信息在认知整合中的语义关联，揭示了刺激驱动的活动通过人脑中的一个时间语义网络绑定在一起，形成多感官表示；而这个时间语义网络的状态是由人脑对刺激物之间长期学习的关联和所接收到的信息的短期经验所决定的。
《神经科学》是认知神经科学领域国际一流学术期刊，刊登在认知神经科学等研究领域作出原创性贡献的高水平论文。
（生物通：何嫱）
作者：
2011-9-8