InfoQ 推荐 ( ) • 2023-05-25 14:10

模型参数越大就越好吗?

英特尔公布AI大模型Aurora genAI,具备1万亿参数

wccftech 报道,英特尔近日公布了旗下生成式 AI 大模型 Aurora genAI"。

据悉,Aurora genAI 参数量高达1万亿,其开发依赖于 Megatron 和 DeepSpeed 框架,这些结构增强了模型的强度和容量。而 ChatGPT 模型参数量是 1750 亿,这也意味着,Aurora genAI 的参数量是ChatGPT" 的近6倍。

据悉,Aurora genAI 模型是英特尔是与阿贡国家实验室和 HPE 合作开发的,它是一个纯粹以科学为中心的生成式 AI 模型,将被用于各类科学应用,包括分子和材料设计、乃至涵盖数百万来源的综合知识素材,据此为系统生物学、高分子化学、能源材料、气候科学和宇宙学等提供值得探索的实验设计思路。这些模型还将用于加速癌症及其他疾病的相关生物过程的识别速度,并为药物设计提供靶点建议。

除了科研之外,Aurora genAI 还具有在自然语言处理、机器翻译、图像识别、语音识别、金融建模等商业领域的应用潜力。

阿贡实验室副主任 Rick Stevens 介绍称,“这个项目希望充分利用 Aurora 超级计算机的全部潜力,为能源部各实验室的下游科学研究和其他跨机构合作计划提供资源。”

根据介绍,Aurora genAI 模型将由生物学、化学、材料科学、物理学、医学等学科的常规文本、代码、科学文本和结构化数据训练而成。阿贡实验室正带头组织国际合作以推进该项目,参与方包括英特尔、HPE、能源部各下辖实验室、美国及其他国际性高校、非营利组织,以及RIKEN等国际合作伙伴。

Aurora genAI 模型将运行在英特尔为阿拉贡国家实验室开发的Aurora超算上,其性能达到了200亿亿次,是当前TOP500超算冠军Frontier的2倍。近日,英特尔和阿贡国家实验室还公布了Aurora的安装进度、系统规格和早期性能测试结果:

英特尔已完成Aurora超级计算机1万多块刀片服务器的交付。Aurora的完整系统采用HPE Cray EX超算架构,将拥有63744个GPU和21248个CPU,辅以1024个DAOS存储节点。Aurora还将配备HPE Slingshot高性能以太网络。早期性能结果显示,Aurora超算系统在实际科学和工程负载上具有领先性能,性能表现比AMD MI250 GPU高出2倍,在QMCPACK量子力学应用程序上的性能比H100提高20%,且能够在数百个节点上保持近线性的算力扩展。作为ChaGPT的有力竞争者,Aurora genAI 的公布预示着AI大模型赛道又迎来了新的重磅玩家,并极有可能在未来对各种科学领域产生重大影响。不过目前,Aurora genAI 更像是处于概念阶段,英特尔的目标是到 2024 年完成 Aurora genAI 模型的构建。

对于英特尔的万亿参数AI大模型Aurora genAI,有网友表示:“我不相信仅仅增加参数数量就能改进模型,我认为我们不应该发布新闻稿追逐增加参数数量。我在研究中还发现,较大的模型通常不会表现得更好,但由于不负责任的营销,这变得越来越难以向非技术人员解释。如果我们对这些营销放任不管,我们会让很多人失望,并降低大家对AI未来增长潜力的信心——我们不想要另一个 AI 寒冬。训练这些大型模型会产生巨大的环境成本,而且理解、使用和控制这些非常大的模型(即使作为研究人员)也变得更加困难。”

AI军备竞赛进入“万亿参数模型”对抗时代?

近几年,随着AI大模型赛道持续升温,越来越多的科技巨头加入进来,并不断打破参数规模记录。

2021年1月,谷歌大脑团队重磅推出超级语言模型Switch Transformer,该模型有1.6万亿个参数,是当时规模最大的NLP模型。同年6月,智源研究院发布悟道2.0,该系统参数数量已超过1.75万亿,是当时全球最大的大规模智能模型系统。同年11月,阿里达摩院发布多模态大模型 M6,其参数已从万亿跃迁至 10 万亿,是当时全球最大的 AI 预训练模型。

有分析指出,中美AI军备竞赛的核心战场正是万亿级预训练模型。打造千万亿参数规模的预训练模型是人类的一个超级工程,可能会对国家甚至人类社会产生重大影响。

那么,模型参数越大就越好吗?

鹏城实验室网络智能部云计算所副所长相洋曾在接受InfoQ采访时指出:

我们最初见到的一些模型是几万个参数,后来就到了几亿、几十亿、百亿、千亿,还有可能上万亿。目前从事实来说,的确是模型越大数据越多,且质量越好,带来的性能是越高的。但是我个人认为,这个提升曲线可能会有一个瓶颈期,到了瓶颈或者平台期的时候,它的上升速度可能就会缓慢,或者说基本就达到稳定了。就目前而言,可能我们还没有到达平台期。所以说,“模型参数越大越好"”这个说法在一定程度上是成立的。

但是,判断一个大模型是否优秀,不能只看参数,还要看实际表现。模型得出来的任务效果好,我们就可以认为这个模型是个好模型。参数不是问题,当机器无论是在存储还是计算能力都足够强的时候,大模型也可以变成小模型。

此外,还要考虑模型的可解释能力,以及是否容易受噪声的攻击。如果该模型有一定的解释能力,那这个模型就是一个好模型;如果该模型不易被噪声数据或是其他因素影响的话,那这个模型也是一个好模型。