近日，中国科学院（yuàn）微电子研究（jiū）所刘明院（yuàn）士团队和复旦大学教授（shòu）刘琦团队在多模态神（shén）经形态感（gǎn）知研究（jiū）方面取得进展。

图（tú）1生物（wù）躯体感觉系（xì）统与人工体躯（qū）体感觉系统，a为人手感知杯子的温（wēn）度、重量和水杯形状的示（shì）意图；b为由MFSN阵列和（hé）SNN分类（lèi）器组成的（de）人工躯体感（gǎn）觉（jiào）系（xì）统模拟（nǐ）触觉（jiào）感知的示意图，图片来自中科院（yuàn）微电（diàn）子所前述团队共同研发了一种结构紧凑的多模态融合感（gǎn）知脉冲神（shén）经元(MFSN)阵列（liè），并将（jiāng）其（qí）与脉冲神（shén）经网络（luò）(SNN)结合（hé），构建（jiàn）了一种（zhǒng）人工（gōng）多模态感知系统。该成（chéng）果使构建高效的多模态脉冲（chōng）感（gǎn）知系（xì）统成为（wéi）可（kě）能，为（wéi）发展高智能机器（qì）人技术提供了新（xīn）思路，并发表在国际材（cái）料领域期刊（kān）《先进材料》(Advanced Materials)上。

图片来自（zì）《先进（jìn）材料》(Advanced Materials)人类躯体感受系统（tǒng）中的多（duō）模态感知可帮助人们获得更全面的物（wù）体属性，并（bìng）对物体的状态做出准（zhǔn）确判断，尤其是不同受（shòu）体的感（gǎn）觉（jiào）信号在一定条件下可被神经元整合（hé），并发送到大脑（nǎo）皮层作进一步处理（lǐ）（图（tú）1a）。与单模态感知相比，多（duō）模态融合感（gǎn）知在评（píng）估物体属性（xìng）和提高物（wù）体识（shí）别精（jīng）度方（fāng）面具有明显优势。在传统（tǒng）的人工感知系（xì）统中，多模（mó）态信息（xī）的处理多采用（yòng）串行计算架构，传感（gǎn）信号需转换为数字（zì）模（mó）式才（cái）能（néng）被处（chù）理（lǐ）器处理，产生较大功耗和通信（xìn）带（dài）宽开销。

此（cǐ）外，传统（tǒng）半导（dǎo）体技术在脉冲域构建多（duō）模态感知系统方（fāng）面（miàn），还面临着器件集成和电路（lù）复杂性（xìng）方面的挑战。因此，迫切（qiē）需要（yào）开（kāi）发更高效的多模态融合感知硬件方案（àn）。生物感（gǎn）知（zhī）系统具（jù）有并行分布式（shì）感官信息处（chù）理（lǐ）、低能耗、高容（róng）错（cuò）性等特点（diǎn），显示（shì）出克服传统困境（jìng）的重要潜力（lì）。

此次，中科院（yuàn）微电子（zǐ）所刘明（míng）团队和（hé）复旦大学刘（liú）琦团队研发了结构紧凑（còu）的多模态融合感知脉冲神经元(MFSN)阵列，该阵列（liè）由异质集成的压力传感器和NbOx忆阻器构（gòu）成（图1b）。其中，压力传感器（qì）用来感（gǎn）知压力，NbOx忆阻器用来产生脉（mò）冲输出并感（gǎn）知温（wēn）度变（biàn）化。当压（yā）力和温度两种激励同时（shí）作用于MFSN时，多模态的模拟感觉信（xìn）息（xī）可以融合为（wéi）一个脉冲序列，显示出（chū）优异的数据压缩和脉冲转换能力（lì）。

此外（wài），研究（jiū）人员通（tōng）过解耦输（shū）出脉冲的频率和振幅，还可从融合信号（hào）中获得独（dú）立的压力和（hé）温度信息（xī），支持了神经元（yuán）对于（yú）单模态信息的保真度和多（duō）模态感知（zhī）能力（lì）。团队进（jìn）一步将MFSN阵列与脉冲神经（jīng）网络结（jié）合（hé），构建了一种人（rén）工多（duō）模态感（gǎn）知系（xì）统，成功（gōng）模拟了人体躯体感觉系（xì）统中的多模态信息（温度（dù）和压力）感知和多模态物体（即不同（tóng）温度、重量和形（xíng）状的（de）物体）的分类（lèi）能（néng）力。

前述成果有助于在未来进一步构（gòu）建高效的（de）多模（mó）态脉冲感知（zhī）系统，并为发展高智能机（jī）器人技术提供（gòng）新思路。