据美国普林斯顿大学2024年11月19日消息，该校和斯坦福大学的研究团队联合开发出一种新压缩算法CALDERA，能精简大语言模型（LLM）的海量数据，为LLM“瘦身”，不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上的高效使用。

CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。

虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。

研究团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。

信息来源：

https://engineering.princeton.edu/news/2024/11/18/leaner-large-language-models-could-enable-efficient-local-use-phones-and-laptops

https://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2024-11/22/content_580955.htm?div=-1