浪潮发布全球最大规模人工智能巨量模型“源”

北京2021年9月28日,浪潮人工智能研究院发布了“源1.0”,这是一款巨量型人工智能模型。这个单体模型“源”参数总量高达2457亿,比美国OpenAI GPT-3还要高,成为AI巨量型模型之首。同期还举行了“源1.0研讨会”,吸引了来自中国的院士和专家,共同深入研究讨论AI巨量型模型的创新和应用。

“源1.0”使用中文数据集进行训练,总共使用了5000GB。相较于GPT3的参数量为1750亿,数据集为570GB,源1.0在参数量和训练数据集方面都领先了40%和近10倍,为巨量型模型设置了新的基准。

在语言智能方面,“源1.0”表现极佳,获得了中文语言理解评测基准CLUE榜单两个总榜单的零和小样本学习的冠军。在零样本学习中,“源1.0”在文献分类、新闻分类、商品分类、原生中文推理、成语阅读理解填空、名词代词关系等6个任务中都获得了冠军。在小样本学习中,源1.0在文献分类、商品分类、文献摘要识别、名词代词关系等4个任务中获得了冠军。此外,在成语阅读理解填空任务中,源1.0的表现已超越人类得分。

在进行“图灵测试”时,源1.0模型生成的对话、小说续写、新闻、诗歌、对联等作品与人类创造的同类作品混合在一起,然后由人群进行分辨。结果表明,人群能够准确地分辨人类和“源1.0”作品的成功率已经低于50%。

巨量型模型的发展备受关注。斯坦福大学的李飞飞教授和其他人工智能领域的知名学者在最近的一篇论文中表示,这种巨量型模型的意义在于其能够快速突显和均质。快速的突显表示,通过巨大模型的推理和隐含的知识,可以带来令人振奋的科学创新灵感;均质表示,巨量型模型可以为众多应用任务泛化支持提供统一强大的算法支持。

中文巨量类型模型的发布,使中国学术界和产业界可以使用一种通用的巨量语言模型来大幅降低语言模型的适配难度,同时提升模型在小样本学习和零样本学习场景下的泛化应用能力。浪潮人工智能研究院表示,“源1.0”将面向学术研究单位和产业实践用户进行开源、开放、共享,降低巨量型模型研究和应用的门槛,有效推进AI产业化和产业AI化的进步,为国家在人工智能研究创新和产业发展作出贡献。