百度发布全球首个百亿参数对话预训练生成模型PLATO-XL
| 来源:【字号:大 中 小】
尽管大规模参数的模型在自然语言处理领域如雨后春笋般出现,并且在多个自然语言理解和生成任务上取得了诸多成果,但多轮开放域对话的主动性和常识性问题一直无法得到很好解决。百度自然语言处理(NLP)于2019年10月预发布了通用领域的对话生成预训练模型PLATO,在ACL2020正式展示。2020年,PLATO升级为超大规模模型PLATO-2,PLATO-2参数规模扩大到16亿,涵盖中英文版本,可就开放域话题深度畅聊。如今发布的全新PLATO-XL,参数规模首次突破百亿达到110亿,是当前最大规模的中英文对话模型。
信息来源:
https://new.qq.com/rain/a/20210922A0BYR800