我国研究人员提出内生复杂性类脑网络 应对模型计算资源高消耗挑战
| 来源:【字号:大 中 小】
中国科学院自动化所、清华大学和北京大学的联合研究团队提出了“基于内生复杂性”的类脑神经元模型构建方法,改善了传统模型通过向外拓展规模带来的计算资源消耗问题。该研究将神经科学的复杂动力学特性融入人工智能(AI),为搭建AI与神经科学的桥梁提供了新的方法和理论支持,为实际应用中的AI模型优化和性能提升提供了可行的解决方案。相关研究成果于2024年8月16日发表在《自然·计算科学》期刊上。
该研究首先展示了脉冲神经网络神经元LIF(Leaky Integrate and Fire)模型和HH(Hodgkin-Huxley)模型在动力学特性上存在等效性,进一步从理论上证明了HH神经元可以和四个具有特定连接结构的时变参数LIF神经元(tv-LIF)动力学特性等效。基于这种等效性,研究团队通过设计微架构提升计算单元的内生复杂性,使HH网络模型能够模拟更大规模LIF网络模型的动力学特性,在更小的网络架构上实现与之相似的计算功能。进一步,研究团队将由四个tv-LIF神经元构建的“HH模型”(tv-LIF2HH)简化为s-LIF2HH模型,通过仿真实验验证了这种简化模型在捕捉复杂动力学行为方面的有效性。
实验结果表明HH网络模型和s-LIF2HH网络模型在表示能力和鲁棒性上具有相似的性能,验证了内生复杂性模型在处理复杂任务时的有效性和可靠性。同时,研究发现HH网络模型在计算资源消耗上更为高效,显著减少了内存和计算时间的使用,从而提高了整体的运算效率。研究团队通过信息瓶颈理论对上述研究结果进行了解释。
信息来源:
https://www.nature.com/articles/s43588-024-00674-9
https://mp.weixin.qq.com/s/0Xy6OY2tLk13irHkq9BXMQ