2022-10-15 15:40:28
大规模语言模型领域迎来新“选手”。近日,微信AI推出自研NLP大规模语言模型WeLM ,该模型是一个尺寸合理的中文模型,能够在零样本以及少样本的情境下完成包多语言任务在内的多种NLP任务。
同时,微信AI团队也提供了WeLM的体验网页和API接口,感兴趣的用户可前往https://welm.weixin.qq.com/docs/体验和申请API接口,相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》也已经发布于论文预印本网站arXiv。
NLP大模型迎新选手,WeLM提供交互式网页PlayGround和API接口
在近几年自然语言处理(NLP)领域的发展浪潮中,OpenAI开发的自然语言处理模型GPT-3无疑风头无两,发布之初便以1750亿参数规模的预训练模型所表现出来的零样本与小样本学习能力刷新了人们的认知,也引爆了AI大模型研究的热潮。
对业界来说,预训练大模型降低了AI应用的门槛,距离“AI把人类从重复性劳动中解放出来”的宏伟目标越来越近,目前,基于GPT-3,全球开发者已经探索出包括编程、回复邮件、UI设计、回答数学问题、法律语言转化、总结中心思想、推理、文本处理等广泛应用场景,并且,各国研究者在多语言/多任务等角度的探索也正在谱写大模型百家争鸣的新篇章。
而在国内以中文为核心的大规模语言模型领域,微信AI推出的百亿级别大规模语言模型WeLM,便是大模型百家争鸣中的新选手。
据介绍,WeLM是一个百亿级别的中文模型,能够在零样本以及少样本的情境下完成包括对话-采访、阅读理解、翻译、改写、续写、多语言阅读理解在内的多种NLP任务,并具备记忆能力、自我纠正和检查能力。并且,WeLM具有尺寸合理的优势,在14项中文NLP任务上,WeLM的整体表现超出了所有同大小的模型,甚至能够匹配比它大25倍的模型。
以被普遍认为是更困难的NLP任务的文本风格转换(改写)为例,尽管用户给出的5个例子和最后需要生成的例子并没有重合的风格转换类型,但WeLM拥有出色的举一反三能力,通过学习少量的文本转换例子即可达到对任意类型的文本转换。并且,WeLM在对话-采访、阅读理解、翻译、续写等多个中文文本生成任务中有着同样优异的表现。
在NLP领域,让大模型成为真正能落地且实用的工具,是每一位NLP领域的研究者矢志不渝的方向。未来,微信AI也将针对WeLM进行进一步的微调优化,进一步提升其在新任务上的泛化效果,也欢迎更多开发者、用户前来体验WeLM并提出宝贵意见和建议,帮助该模型早日成为真正能落地且实用的工具,共同探索人工智能的发展之路。