2024年9月30日，美国初创公司Liquid AI开创性地推出了三种规模的多模态液体基础模型LFM，其1B规模的模型在基准测试中成为SOTA，这是非GPT架构首次显著超越Transformer架构的模型。作为通用AI模型，LFM可用于建模任何类型的顺序数据，包括视频、音频、文本、时间序列和信号。

Liquid AI本次发布的三种规模模型分别为：1.3B的稠密模型，适用于资源高度受限的环境；3.1B的稠密模型，为边缘部署进行了优化；40.3B的混合专家（MoE）模型，专为处理更复杂的任务而设计。

在各种规模上，这三个模型都实现了最佳质量表现，同时保持了更小的内存占用和更高效的推理能力。这是因为，Liquid AI的新模型保留了液体神经网络适应性的核心优势，允许在推理过程中进行实时调整，而不会产生与传统模型相关的计算开销，能够高效处理多达100万个令牌（token），同时将内存使用保持在最低水平。

LFM 1B规模的模型在1B类别的公共基准测试中表现良好，成为该尺寸模型中的SOTA。LFM 3B规模的模型在3B参数的Transformer、混合模型和RNN模型的测试中，均取得了第一名，其性能和Phi-3.5-mini相当，规模却小了18.4%，是移动端侧和和其他边缘文本应用的理想选择。LFM-40B在模型尺寸和输出质量之间实现了新的平衡，可以实现更高的吞吐量，并且能部署在更具成本效益的硬件上。

信息来源：

https://www.liquid.ai/liquid-foundation-models

https://www.impactlab.com/2024/10/04/liquid-ai-unveils-groundbreaking-foundation-models-challenging-transformer-based-ai/

https://mp.weixin.qq.com/s/-JYnr7_KvIEifsA7E8W1NQ