谷歌AI芯片TPU v5p在训练LLM方面比其前一代快2.8倍
谷歌正迅速成为其最好的朋友英伟达的强大对手——其超级计算机所使用的TPU v5p人工智能芯片比以往任何时候都更快、更大、更宽,甚至超过了强大的H100。谷歌在最近推出其Gemini人工智能模型的同时,也发布了其最新版本的旗舰张量处理单元(TPU),用于人工智能的训练和推理,这似乎是一种挑战英伟达自己的市场领先的图形处理器(GPU)的尝试。
图源备注:图片由AI生成,图片授权服务商Midjourney
TPU v5p是谷歌最强大的定制设计的人工智能加速器,已经被部署到了该公司的“人工智能超级计算机”上。这是一种专门为运行人工智能应用而构建的超级计算架构,而不是通常运行科学工作负载的超级计算机,因为TPU不适合这些工作。
其最新版本的TPU每个单元(组成系统的部分)有8, 960 个芯片,相比之下,v4 只有4, 096 个,而且在每个单元可用的浮点运算次数(FLOPs)方面,它的可扩展性是v4 的四倍。这些新的单元提供了4,800Gbps的吞吐量。新的单元还拥有95GB的高带宽内存(HBM),而TPU v4 只有32GB的HBM RAM。
不同于英伟达,它将其GPU出售给其他公司,谷歌的定制TPU仍然只在其自己的产品和服务中使用。谷歌的TPU长期以来一直用于为其服务提供动力,包括Gmail、YouTube和Android,而最新版本也被用于训练Gemini。
谷歌的v5p TPU在训练大型语言模型方面比TPU v4 快2. 8 倍,并且提供2. 1 倍的性价比。虽然今年早些时候发布的中间版本TPU v5e在三者中提供了最高的性价比,但它只比TPU v4 快1. 9 倍,这使得TPU v5p成为最强大的。
它甚至强大到足以与英伟达广受欢迎的H100 GPU相媲美,这是市场上最适合人工智能工作负载的显卡之一。根据该公司自己的数据,这个组件在训练工作负载方面比英伟达的A100 GPU快四倍。
与此同时,谷歌的TPU v4 据估计比A100 快1. 2 到1. 7 倍,这是根据它在四月份发布的研究结果。粗略的计算表明,TPU v5p大约比A100 快3. 4 到4. 8 倍,这使得它与H100 相当或者更优秀,尽管在得出任何结论之前,需要更详细的基准测试。
真我realme GT5 Pro官宣将于本月发布
根据真我官微的消息,真我宣布其旗舰手机GT5Pro将于本月亮相,定位为“双擎旗舰”。据官方信息透露,真我GT5Pro将首批搭载高通骁龙8Gen3移动平台。据博主数码闲聊站透露,真我GT5Pro成为了行业VC散热的新天花板,其散热面积再次刷新了记录,并在机身内部实现了精密堆叠,挑战了行业极限。站长网2023-11-13 17:20:360000全面取代Llama 2!Baichuan 2自曝史上最全训练细节
在国内,Llama的时代,已经过去了。9月6日,百川智能宣布正式开源Baichuan2系列大模型,包含7B、13B的Base和Chat版本,并提供了Chat版本的4bits量化,均为免费商用。下载链接:https://github.com/baichuan-inc/Baichuan2站长网2023-09-15 16:06:410000AI视野:ComfyUI Lora训练节点来了;“ChatGPT之父”结婚;Topazlabs推视频高清放大工具Topaz Video AI4;阿里云推出第八代企业级实例g8i
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事ComfyUILora训练节点来了站长网2024-01-12 16:08:480000东方甄选淘宝首秀GMV过亿!不想只做一个直播间!
各位村民好,我是村长。继东方甄选在自家app开启常态化直播后,2023年8月29日,东方甄选又在淘宝开启了全天带货首秀。而且带货的数据十分亮眼,直播间人数超过10w,累计观看用户超过1000w,多款商品销量都超过了1万单,GMV更是超过了1个亿。之前东方甄选在自己app上直播,就引起了不小的争议。大家都在说,东方甄选这无疑是自找死路,和抖音做对抗。0000揭秘“修行”江湖:深度疗愈,还是被“大师”收割?
在24岁之前,灵修是树子从未想过的人生选项。她期待自己成为一位职场女性,穿梭在高楼林立间,走路带风,干练理智。那时她如愿进入外企,成为一名培训师,最忙的时候几乎一整个月都在飞,到处讲课。忙碌的工作带给树子充实感、成就感和对身体的麻木。站长网2023-11-01 14:09:350000