近（jìn）日，中国科（kē）学（xué）院微电子研究所（suǒ）刘明院士团队和复旦大学教授刘琦团队在（zài）多（duō）模态神经形态感知（zhī）研究方面取得进展。

图1生物躯体感觉系统与人工体躯体感觉系统，a为人手（shǒu）感（gǎn）知杯（bēi）子的温度（dù）、重量（liàng）和水杯形（xíng）状的示意图；b为由MFSN阵列和SNN分类器（qì）组（zǔ）成的人工（gōng）躯体感觉系（xì）统模拟触觉感知的（de）示意（yì）图，图片来自中科院微电子所前述团队共同研发了一（yī）种结构紧凑（còu）的多模态融合感知脉冲神经元(MFSN)阵列，并将其与脉（mò）冲神经网络(SNN)结合，构建（jiàn）了一种人工多模态（tài）感知系统。该（gāi）成果使（shǐ）构建高效的多模态脉（mò）冲感知系统成为可能，为发展高智能机器人技术提供了新思路，并发表在国际材（cái）料领域（yù）期刊《先进材料》(Advanced Materials)上。

图片来自《先（xiān）进材料》(Advanced Materials)人类躯体感受系（xì）统中的（de）多模（mó）态感（gǎn）知可帮助人们获（huò）得更全面的物体属性，并对（duì）物体的状态做出准确判断（duàn），尤（yóu）其是不同受体的感（gǎn）觉（jiào）信号在一定条件下可被神（shén）经元整合（hé），并（bìng）发送到大脑皮层作进一（yī）步处理（图1a）。与单模态感（gǎn）知相（xiàng）比，多模（mó）态融合感知在评（píng）估物体属性和提高物体识别精度（dù）方面（miàn）具（jù）有明（míng）显优势。在传（chuán）统的人工感知系统中，多（duō）模态信息的处理多采用（yòng）串行计算架构，传感信（xìn）号需（xū）转换为数字模式（shì）才（cái）能被处理器处理，产生（shēng）较大（dà）功耗和通信带宽开销。

此（cǐ）外，传统半导体技（jì）术在（zài）脉（mò）冲（chōng）域构建多模（mó）态感知系统方面，还面临着器件集成和电路复杂性方面的挑战。因此，迫切需要开发更高效的多模态融合感知硬件（jiàn）方（fāng）案。生物感知（zhī）系统（tǒng）具有并行分布（bù）式感官信（xìn）息处理（lǐ）、低能耗（hào）、高容错性等特（tè）点，显示（shì）出克服（fú）传统困境的重（chóng）要潜力。

此次，中科院微电子所刘明团（tuán）队和复旦大学刘（liú）琦团队研（yán）发了结构（gòu）紧凑的多（duō）模（mó）态（tài）融合感知脉冲神经元(MFSN)阵列，该阵列由异质集成的压（yā）力传感器和NbOx忆阻器构成（chéng）（图1b）。其中，压力传（chuán）感器（qì）用来感知压力，NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两（liǎng）种激励同时作用于MFSN时，多模态的模拟（nǐ）感觉信（xìn）息（xī）可以融合为一（yī）个脉冲序（xù）列，显示出（chū）优异（yì）的（de）数（shù）据压缩（suō）和脉冲转换能力。

此外，研究人员通过解耦输出（chū）脉冲的频率和振（zhèn）幅，还可从融合信号中获得独（dú）立的压力（lì）和温度信息，支持了神经元对于单模态信息的保真度和（hé）多（duō）模态感（gǎn）知能力。团队进一步将MFSN阵列与脉冲神经网络结合，构建了一种人工多模态感知系统，成（chéng）功模拟了人（rén）体躯体感觉系统中的多模态信息（温度和压（yā）力）感知（zhī）和多模态物体（即不同温（wēn）度、重量和形状的物体）的分（fèn）类能力。

前（qián）述成（chéng）果有助于在未来进（jìn）一步构建高效的多模态脉冲感（gǎn）知系统，并为发展高智能（néng）机（jī）器（qì）人（rén）技术（shù）提（tí）供新思路。