Meta 将推出第一代自研人工智能运算芯片 MTIA v1
站长网2023-05-23 15:13:110阅
Meta 公司的 AI 工作负载无处不在,为诸多应用提供基础支持,如内容理解、动态信息流、生成式 AI 和广告排名等。得益于其与 Python 的无缝集成、急切模式编程和简明的 API,PyTorch 可以运行这些工作负载。
其中,DLRMs 对于提升 Meta 产品和服务的用户体验至关重要。硬件系统必须在模型的规模和复杂性不断增长的情况下,提供越来越多的内存和计算资源,同时保持效率。
然而,当处理 Meta 在规模上独特的推荐工作负载时,GPU 并不总是最佳选择。为了解决这个问题,Meta 团队开发了一套名为「Meta 训练和推理加速器」(MTIA)的专用集成电路(ASIC)。考虑到下一代推荐模型的需求,第一代 ASIC 已经纳入 PyTorch 中,以开发完全优化的排名系统。为了让开发人员保持高效,他们不断维护对 PyTorch 2.0 的支持,该版本极大地提高了 PyTorch 的编译器级性能。
研究人员将 MTIA 与 NNPI 加速器和图形处理单元进行了比较。结果显示,MTIA 在低复杂性模型的小规模和批处理上进行了有效管理。MTIA 通过积极优化其软件栈,实现了类似的性能水平。与此同时,它利用 GPU 的软件栈在中高复杂性模型上运行更大规模、更优化的形式。
为了优化 Meta 工作负载的性能,团队正在努力寻找计算能力、内存容量和互连带宽之间的平衡点,以开发更好、更高效的解决方案。
0000
评论列表
共(0)条相关推荐
日本国内正掀起生成式AI发展浪潮
据外媒报道,日本国内开发自动创建内容的生成人工智能的举措正在如火如荼地进行,不少公司正在努力赶上在推出生成性人工智能服务方面领先于外国竞争对手。此外,一些日本公司已经宣布计划开发或免费发布大规模语言模型,这是生成人工智能的基础技术。站长网2023-06-13 17:58:260000每周AI大事件 | 文心一言上线5大插件、OpenAI宣布首笔公开收购、GPT-4新增审核功能
欢迎来到站长之家的[每周AI大事件],这里记录了过去一周值得关注的AI领域热点内容,帮助大家更好地了解人工智能领域的动态和发展风向。PART1动态[国内要闻]1.B站称已将大模型应用于旗下业务站长网2023-08-19 01:13:090005腾讯二次元社交APP《代号M9》上线:支持虚拟形象等功能
腾讯旗下深圳市网视界科技有限公司推出了一款专为二次元用户打造的全新社交APP——《代号M9-穿越次元遇见你》。这款APP不仅支持虚拟形象装扮、多人群聊、好友地图、实时状态、个性咕卡等新奇功能,还允许用户根据自己的需求对人物进行3D捏脸和更换服装等个性化设置。用户可以通过微信或QQ账号登录该APP,并在上面寻找兴趣相投的朋友,与好友分享实时动态,自由创建兴趣群聊,拥有一个和同好的交流空间。0000Win11最近一个月卡爆了!CPU占用高元凶终于找到:微软认错
快科技6月23日讯,很多时候遇到电脑卡顿,通常与CPU、内存或者硬盘占用率过高脱不开干系。日前,微软确认,Win11资源管理器的一个严重BUG会导致电脑CPU偶发出现CPU占用率奇高的情况,21H2(Build22000)、22H2(Build22621)等。官方定位后指出,用户访问文件高级共享设置相关菜单并关闭后,该程序事实上并未关闭,反而在后台作祟。站长网2023-06-23 23:42:180000