网易伏羲预训练模型“玉言”登顶CLUE分类榜单，成绩首次超过人类水平

日前，网易福喜玉颜系列机型在线索分类任务单中超越其他机型，位列榜单第一首次在CLUE1.1分类任务列表，TNEWS，科大讯飞，OCNLI，WSC，CSL中超越人类水平

线索清单作为中文语言理解领域最权威的基准之一，在学术界和工业界都有着深远的影响此次《语嫣》成功登顶线索分类任务单，是网易福喜在中文文本预训练领域的又一重要里程碑值得一提的是，一年前，网易福喜的语言系列机型还登上了CLUE推出的中文小样本学习测评榜少数线索的榜首

语言是网易伏羲自主研发的中文文本预训练大模型系列这次到达线索分类任务列表顶端的模型参数达到110亿，结构由深度编码器和浅层解码器组成这种结构可以使大模型具有良好的理解能力和生成能力此外，该编码器—解码器结构便于训练任务的设计，并且不需要复杂的掩蔽策略其前期训练数据包括网易自身优质数据，各类百科，新闻，社区问答，wiki，小说等，网易福喜对采集的数据进行去重和清洗，产生了大量高质量的数据，并利用这些数据对模型进行训练，使得模型具有良好的泛化能力，在各种任务中表现优异

在 "语嫣 "模型的训练中，网易福喜采用多任务训练框架对模型编码器和解码器进行训练。为了提高模型的语义表示能力，使模型更好地理解不同长度的文本信息，提出了不同的预训练策略来帮助模型学习:

1.掩蔽策略:掩蔽覆盖句子中的词，使模型还原被覆盖的词，提高模型的语义表示能力，

2.单词移位策略:通过打乱中文单词中单词的顺序，使模型得以还原，从而提高模型关注中文单词表达的能力，增强对中文单词的敏感度，

3.短句重排序策略:通过打乱句子中出现的短句，可以还原模型，提高模型对句子语义的理解，

4.单词/句子删除策略:在恢复模型之前删除单词或整句，以提高模型对不同长度文本的语义表示能力，

网易福喜大规模前期培训工作由网易高级副总裁，网易雷霍事业群总裁胡志鹏牵头，入选2022年浙江省科技计划尖兵项目自研模型规模从最早的1亿个参数增加到1000亿个参数，模型领域从文本扩展到图形，音乐，行为序列等多种模式，积累了丰富的前期模型训练和工程优化经验相关技术也在网易集团应用于文字游戏，智能NPC，文字辅助创作，音乐辅助创作，美术设计，互联网搜索和推荐等业务场景，取得了显著的业务成效

此外，网易福喜参与了中国人工智能产业发展联盟组织的《大规模预训练模型技术应用评估方法》的编写，在中国信息通信研究院主办的2022可信AI峰会上，人工智能关键技术与应用评估，信息产业部重点实验室，网易福喜的大规模模型应用LOFTER—AI写作和木偶戏—互动文字游戏也入选2022大规模预训练模型优秀应用案例。

网易福喜作为国内专注于AI在游戏和泛娱乐领域研究和应用的顶级机构，未来将在大规模预训练模型领域持续探索，结合智能机器人的众包能力，引入人的决策和数据闭环，进一步提升大模型能力。