AI算力70年增长6.8亿倍,3个历史阶段见证AI技术指数级爆发
【新智元导读】一张图揭示了AI算力70多年发展了6.7亿倍,未来AI各方面能力将全面超越人类,而真正令人期待的是,AI行业才刚刚进入爆发前的萌芽期。
电子计算机于上世纪40年代诞生,而在计算机出现后的10年内,人类历史上的第一个AI应用就出现了。
70多年过去了,AI模型现在不仅能写诗,还能根据文本提示生成图像,甚至是帮助人类发现未知的蛋白质结构。
那么,是什么推动了AI技术在如此短时间内的指数级增长呢?
一张来自「我们数据中的世界」(Our World in Data)的长图,通过用于训练AI模型的算力变化为刻度,对AI发展历史进行了追溯。
高清大图:https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html
图中数据的来源,是源于一篇由MIT等大学研究人员发表的论文。
论文地址:https://arxiv.org/pdf/2202.05924.pdf
除了论文之外,还有一个研究团队根据这篇论文数据做了一个可视化的表格,可以随意缩放图标来获取精细的数据
表格地址:https://epochai.org/blog/compute-trends#compute-trends-are-slower-than-previously-reported
图表的作者主要通过计算运算次数以及GPU时间来估计训练每个模型的计算量,而对于选择哪一个模型作为重要模型的代表,作者主要通过3个性质来确定:
显著的重要性:某个系统具有重大历史影响,显著提高了SOTA,或者被引用次数超过1000次。
相关性:作者只收录了包含实验结果和关键机器学习组成部分的论文,并且论文目标是推动现有SOTA发展。
独特性:如果描述同一系统的另一篇论文更具影响力,那么该论文将被从作者的数据集中排除。
AI发展的三个时代
在1950年代,美国数学家Claude Shannon训练了一个名为Theseus的机器老鼠,使其能在迷宫中导航并记住路径—这是第一个人工学习的实例。
Theseus的构建基于40个浮点运算(FLOPs)。FLOPs通常用作衡量计算机硬件计算性能的指标。FLOP数量越高,计算能力越强,系统也越强大。
计算能力、可用的训练数据和算法是AI进步的三大要素。而在AI发展的最初几十年里,所需的计算能力是按照摩尔定律增长的——计算能力也在大约20个月的时间翻一倍。
然而,在2012年由AlexNet(一个图像识别AI)标志着深度学习时代的开始时,这个翻倍时间大大缩短到了六个月,因为研究人员加大了对计算和处理器的投资。
随着2015年AlphaGo的出现——一个击败了人类职业围棋选手的计算机程序——研究人员发现了第三个时代:大规模AI模型时代到来了,它的计算需求比以前所有的AI系统都要大。
未来AI技术的进展
回顾最近的十年,计算能力的增长是如此之快,简直令人难以置信。
例如,用于训练Minerva(一个可以解决复杂数学问题的AI)的计算能力几乎是十年前用于训练AlexNet的600万倍。
这种计算增长,加上大量可用的数据集和更好的算法,令AI在极短的时间内取得了大量进展。如今,AI不仅能达到人的表现水平,甚至在很多领域超过了人类。
AI能力将在方方面面不断超越人类
从上图可以清楚地看出,人工智能在很多领域已经超越了人类的表现,并且在其他方面也将很快超越人类的表现。
下图展示了在常见的人类日常工作和生活会使用到的能力中,AI在哪一年已经达到或者超过了人类水平。
AI技术发展势能充足
难以说计算增长是否会保持相同的速度。大规模模型需要越来越多的算力来训练,如果算力供应不能继续增长,可能会减缓AI技术发展的进度。
同样,耗尽目前可用于训练AI模型的所有数据也可能妨碍新模型的开发和实施。
然而,2023年,大量资本涌入AI行业,尤其是以大语言模型为代表的生成式AI。或许更多的突破即将出现,似乎以上3个促进AI技术发展的元素都将在未来进一步得到优化和发展。
2023年上半年,AI行业的初创公司融资规模达到了140亿美元,甚至比过去4年获得的融资总和还要多。
而大量(78%)的生成式AI初创公司都还处于发展非常早期的阶段,甚至27%的生成式AI初创公司公司还没有进行融资。
360多家生成式人工智能公司,27% 尚未进行融资。超过一半是 轮或更早的项目,说明整个生成式AI行业还属于非常早期的阶段。
由于开发大型语言模型的资本密集型性质,自2022年第三季度以来,生成式AI基础设施类别已获得超过70% 的资金,仅占所有生成式AI交易量的10%。大部分资金源于投资者对基础模型和API、MLOps(机器学习操作)以及向量数据库技术等新兴基础设施的兴趣。
参考资料:
https://www.visualcapitalist.com/cp/charted-history-exponential-growth-in-ai-computation/
三星电子将为英伟达最新的人工智能芯片 H100 提供 HBM3 和封装服务
站长之家(ChinaZ.com)8月2日消息:据韩国经济日报消息,存储芯片制造商三星电子将为英伟达公司提供高性能半导体和封装服务,有望在其它大型科技公司中赢得订单。站长网2023-08-02 11:47:390000RPG-DiffusionMaster:利用LLM优化SD文生图过程
RPG-DiffusionMaster是一个利用LLM(LargeLanguageModel)优化SD(Text-to-Image)文本到图像的转换过程的框架。该框架能够更好地理解和分解生成图像的文字提示,以实现将一幅图像分解成不同的部分或区域,并根据理解的相应文本提示来生成图像,最后合成为一个符合预期要求的图像。站长网2024-01-23 18:00:500000Bing Chat创意和精确模式全面采用GPT-4
文章概要:1.微软搜索主管MikhailParakhin确认BingChat在创意和精确模式下100%采用GPT-4。2.微软同时使用多种语言模型,包括GPT-4Prometheus和Bing自有的图灵语言模型。3.尽管大力宣传AI聊天和GPT-4,微软仍在与Google竞争中努力夺回市场份额。站长网2023-09-18 10:17:310000概率退化模型PDM 解决盲图像超分辨率问题
要点:本文介绍了一种新的解决盲图像超分辨率问题的方法,称为概率退化模型(PDM),它有助于更好地理解图像退化分布。传统的图像超分辨率方法通常假设退化模型是已知的,但实际中这种模型往往复杂且不确定。PDM通过学习退化分布来解耦退化作用与图像内容。PDM的关键思想是将退化过程分解为模糊核和噪声的独立部分,并使用生成模型来建模它们的分布,从而提高图像超分辨率性能。站长网2023-10-31 12:09:320000小米14 Ultra首发!小米申请“小米龙铠”商标
近日,小米科技有限责任公司向相关机构提交了两枚名为“小米龙铠”的商标申请,涉及科学仪器和网站服务两大国际分类,目前正处于等待实质审查的阶段。这一举动引发了业界的广泛关注。值得一提的是,小米龙铠架构已经在小米14Ultra手机上实现了首发搭载。这是一种创新的综合性机身防护方案,显著提升了手机中框、屏幕以及背壳的耐用性和耐摔程度,为用户带来了更为安全的使用体验。站长网2024-03-11 16:07:240000