算力不足限制AI创新 学者呼吁加强学术界算力支持

一项针对全球数十家学术机构的学者开展的调查显示,许多大学的科学家对人工智能(AI)研究可用的算力资源感到沮丧。

相关研究论文已于近日发布在预印本服务器arXiv上,指出学者难以接触到最先进的计算系统,这可能阻碍他们开发大型语言模型(LLM)和其他AI研究的进展。

(图片来源:nature)

具体而言,学术研究者往往没有资源获取足够强大的图形处理器(GPU)——这些电脑芯片常用于训练AI模型,且价格昂贵,可达数千美元。相比之下,大型科技公司的研究者预算更高,可以在GPU上投入更多资金。“每增加一块GPU,就能提升更多算力。”美国布朗大学计算机科学家、该研究的合著者Apoorv Khandelwal表示,“虽然行业巨头可能拥有数千块GPU,但学者可能只有几块。”

“学术界与行业界的模型差距巨大,但本可以小得多。”美国华盛顿特区非营利AI研究机构EleutherAI的执行董事Stella Biderman说。她表示,对这一差距的研究“至关重要”。

为了评估学者可用的计算资源,研究团队对35家机构的50名科学家进行了调查。受访者中,66%对自己的算力满意度打了3分及以下(满分5分)。“他们根本不满意。”Khandelwal说。

各大学在GPU访问设置上有所不同。有些学校设有供各部门和学生共享的中央计算集群,研究人员可申请GPU使用时间。另一些机构可能为实验室成员直接购买机器。

柱状图揭示了调查的结果:学者通常只能有限地访问图形处理器,这进而限制了他们训练机器学习模型的能力。

一些科学家表示,他们不得不等待数天才能使用GPU,并指出在项目截止日期前后等待时间特别长。调查结果还凸显了全球算力访问的差异。例如,有受访者提到在中东地区难以找到GPU。仅有10%的受访者表示,他们可以使用英伟达的H100GPU,这是专为AI研究设计的高端芯片。

这一障碍极大地加剧了预训练过程的难度,即向大型语言模型(LLM)输入海量数据集的过程变得尤为困难。“由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出。他和同事坚信,学者在人工智能研究中带来了独一无二的视角,而算力的匮乏可能会严重制约这一领域的未来发展。

“为了长期的增长和技术发展,拥有一个健康、有竞争力的学术研究环境至关重要。”美国布朗大学计算机科学和语言学学者、该研究的合著者Ellie Pavlick说,“相比之下,在行业研究中往往存在显著的商业压力,这有时会促使研究人员急于求成,减少了对未知领域的探索。”

研究人员还深入探究了学者如何在算力资源有限的情况下更高效地进行利用。他们测算了在使用1至8块GPU的低资源硬件环境下,预训练多个大型语言模型(LLM)所需的时间。尽管面临资源限制,学者仍成功训练出多个模型,但这一过程耗时更长,并要求他们必须采用更为高效的方法。

“我们实际上可以延长现有GPU的使用时间,从而在一定程度上弥补与行业界的差距。”Khandelwal说。

“在有限的计算资源上竟然也能训练出比许多人预期中更大的模型,这确实令人惊叹。”德国萨尔布吕肯萨尔兰大学神经显式模型研究者Ji-Ung Lee表示。他进一步指出,未来的研究可以聚焦小公司行业研究者的经历,因为他们同样在计算资源获取上面临困境。“并非所有有能力获取无限算力的人都能够如愿以偿。”他补充道。

关键词 :

算力不足限制AI创新 学者呼吁加强学术界算力支持

一项针对全球数十家学术机构的学者开展的调查显示,许多大学的科学家对人工智能(AI)研究可用的算力资...

人民邮电报 11-28 17:06:21

算力不足限制AI创新 学者呼吁加强学术界算力支持

一项针对全球数十家学术机构的学者开展的调查显示,许多大学的科学家对人工智能(AI)研究可用的算力资...

人民邮电报 11-28 17:06:21

2024世界公众科学素质促进大会将聚焦全球公众科学素质建设

记者从中国科协11月27日举行的新闻发布会上获悉,2024世界公众科学素质促进大会将于12月5日至6日在北京...

新华网 11-28 16:58:31

2024世界公众科学素质促进大会将聚焦全球公众科学素质建设

记者从中国科协11月27日举行的新闻发布会上获悉,2024世界公众科学素质促进大会将于12月5日至6日在北京...

新华网 11-28 16:58:31

我国科研人员首次实现像素“分割”成像

11月27日,在中国科学院空天信息创新研究院实验室,张泽研究员(右)和团队成员在调试实验设备。中国科...

新华网 11-28 16:56:19

我国科研人员首次实现像素“分割”成像

11月27日,在中国科学院空天信息创新研究院实验室,张泽研究员(右)和团队成员在调试实验设备。中国科...

新华网 11-28 16:56:19

朱雀二号改进型遥一运载火箭发射成功

11月27日10时00分,朱雀二号改进型遥一运载火箭在东风商业航天创新试验区发射升空,将搭载的光传01、02...

新华网 11-28 16:54:06

朱雀二号改进型遥一运载火箭发射成功

11月27日10时00分,朱雀二号改进型遥一运载火箭在东风商业航天创新试验区发射升空,将搭载的光传01、02...

新华网 11-28 16:54:06

抚平时光“皱”语,润致格格针轻松打造气质天鹅颈

在古代,好看的脖子是衡量美人非常重要一条标准,而放在现代这个规

今日热点网 11-28 13:45:59

抚平时光“皱”语,润致格格针轻松打造气质天鹅颈

在古代,好看的脖子是衡量美人非常重要一条标准,而放在现代这个规

今日热点网 11-28 13:45:59

山东滨州一工厂发生二次泄漏?官方通报

中新网11月28日电 据山东省滨州市博兴县湖滨镇人民政府官方微信公众号消息,近日有媒体反映博兴县恒昌...

中国新闻网 11-28 13:25:28

山东滨州一工厂发生二次泄漏?官方通报

中新网11月28日电 据山东省滨州市博兴县湖滨镇人民政府官方微信公众号消息,近日有媒体反映博兴县恒昌...

中国新闻网 11-28 13:25:28

北方地区风力较大 30日起冷空气又将入侵我国

中新网11月28日电 据中央气象台网站消息,昨日,内蒙古中部、西北地区东部、华北、黄淮、江淮、江南东...

中国新闻网 11-28 13:23:12

北方地区风力较大 30日起冷空气又将入侵我国

中新网11月28日电 据中央气象台网站消息,昨日,内蒙古中部、西北地区东部、华北、黄淮、江淮、江南东...

中国新闻网 11-28 13:23:12

中国野生虎豹分布核心区强化科技巡护预防“人兽冲突”

中新网吉林珲春11月28日电 题:中国野生虎豹分布核心区强化科技巡护预防人兽冲突中新网记者 郭佳随着...

中国新闻网 11-28 13:13:42

中国野生虎豹分布核心区强化科技巡护预防“人兽冲突”

中新网吉林珲春11月28日电 题:中国野生虎豹分布核心区强化科技巡护预防人兽冲突中新网记者 郭佳随着...

中国新闻网 11-28 13:13:42

东航第9架C919入列 国产大飞机首度实现客舱局域网服务

中新网11月28日电 据中国东航微信公众号消息,2024年11月28日上午9时47分,机号为B-657T的国产大飞机C9...

中国新闻网 11-28 12:48:17

东航第9架C919入列 国产大飞机首度实现客舱局域网服务

中新网11月28日电 据中国东航微信公众号消息,2024年11月28日上午9时47分,机号为B-657T的国产大飞机C9...

中国新闻网 11-28 12:48:17

工信部:前10个月,电信业务收入累计完成14535亿元

中新网11月28日电 据工信部网站消息,今年前10个月,通信业整体运行平稳。电信业务收入保持正增长,新...

中国新闻网 11-28 12:34:16

工信部:前10个月,电信业务收入累计完成14535亿元

中新网11月28日电 据工信部网站消息,今年前10个月,通信业整体运行平稳。电信业务收入保持正增长,新...

中国新闻网 11-28 12:34:16

联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接

经济头条 版权所有,未经书面授权禁止使用

京ICP备2021034106号-7 营业执照公示信息

Copyright©2008-2020 By www.jingji.net All Rights Reserved