2005年，《自然》杂志上发表的一封信描述了对特定人做出反应的人类神经元——多模态神经元。这些神经元能够对围绕常见高级主题的抽象概念簇产生反应，而不是任意特定的视觉特征。2021年3月4日，OpenAI在其通用视觉系统CLIP中发现了类似的多模态神经元的存在，这类神经元能够对以文本、符号或概念形式呈现的相同概念作出反应。

这一发现为合成视觉系统与自然视觉系统中的普遍机制——抽象提供了线索。研究人员发现 CLIP 的最高层将图像组织为想法的松散语义集合，从而为模型的通用性和表示的紧凑性提供了简单解释。OpenAI 表示，这一发现或许可以解释 CLIP 模型的分类准确率，也是理解大型语言模型在训练过程中学习到的关联和偏见的重要一步。

信息来源：

https://distill.pub/2021/multimodal-neurons/

https://mp.weixin.qq.com/s/_VKngYxj-t0BwviJStDGlg