2021年12月8日，鹏城实验室与百度联合召开发布会，正式发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度 文心（模型版本号：ERNIE 3.0 Titan）。该模型参数规模达到2600亿，是“全球首个知识增强千亿大模型”，在机器阅读理解、文本分类、语义相似度计算等60多项任务中取得“最好效果”，并在30余项小样本和零样本任务上刷新基准。

在算法框架上，该模型沿袭了ERNIE 3.0的海量无监督文本与大规模知识图谱的平行预训练算法，模型结构使用兼顾语言理解与语言生成的统一预训练框架。为提升模型语言理解与生成能力，研究团队设计了可控和可信学习算法。在训练上，结合百度飞桨自适应大规模分布式训练技术和“鹏城云脑 ”领先算力集群，解决了超大模型训练中多个公认技术难题。为解决大模型应用落地难题，百度团队首创了大模型在线蒸馏技术，模型参数压缩率可达99.98%，压缩版模型仅保留0.02%参数规模就能与原有模型效果相当，为产业大规模应用打开新窗口。

百度 文心产业级知识增强大模型应用于百度搜索、信息流、智能音箱等互联网产品，并通过百度智能云赋能工业、能源、金融、通信、媒体、教育等各行各业。

信息来源：

https://paper.sciencenet.cn/sbhtmlnews/2021/12/367039.shtm?id=367039