Buddy Compiler打通LLaMA 2端到端推理
要点:
LLaMA2端到端推理打通!结合 MLIR 和 PyTorch 的编译生态,中国团队展示了 Buddy Compiler 的前端部分实现,可以覆盖 LLaMA 计算图,进行 MLIR 转换和部分优化。
Buddy Compiler 基于 PyTorch 和 MLIR 实现了 LLaMA 的端到端推理通路,通过 Buddy Compiler 工具链进行优化和下降,最终生成可执行文件,实现了从 AI 模型到硬件架构的编译流程。
技术路线标准化、上手门槛低和优化上限高是整个软硬件协同设计生态的重要原则,Buddy Compiler 致力于实现这一目标,并将 PyTorch 和 MLIR 作为关键组成部分,提供了简化和解耦的开发流程。
Buddy Compiler 选择使用 TorchDynamo 作为 Trace 工具对接 AI 模型,并使用 Aten IR 作为对接层级,通过 MLIR Python Bindings 实现 Dynamo Compiler 生成 TOSA/Linalg Ops,从而实现了从 PyTorch 到 MLIR 的转换。
Buddy Compiler 是一个结合了 MLIR 和 PyTorch 的编译生态的工具,它实现了 LLaMA 的端到端推理通路。通过 Buddy Compiler,我们可以将 AI 模型从 PyTorch 转换为 MLIR,并进行优化和下降,最终生成可执行文件。
Buddy Compiler 的设计原则是技术路线标准化、上手门槛低和优化上限高。为了实现这一目标,Buddy Compiler 选择使用 TorchDynamo 作为 Trace 工具对接 AI 模型,并使用 Aten IR 作为对接层级。通过 MLIR Python Bindings 实现的 Dynamo Compiler 可以将 PyTorch 的 Aten IR 转换为 MLIR 的 TOSA/Linalg Ops。
Buddy Compiler 的编译通路可以面向通用硬件进行优化。它使用了 MLIR Core Dialect 进行实现,从而实现了最大化的复用,并且与所有 LLVM/MLIR 的工具兼容。在优化方面,Buddy Compiler 采用了针对循环的并行计算优化和针对矩阵乘法的向量化优化。
它还可以生成面向特定加速器的代码,例如 Gemmini 加速器。目前,Buddy Compiler 已经在 X86AVX512平台上进行了测试,同时还在进行 Arm Neon 和 RISC-V Vector Extesion 的广泛测试。未来,Buddy Compiler 还计划支持 GPU 的优化,并增加前端的覆盖程度,以及将多模态大模型编译到多种硬件平台上。
总的来说,Buddy Compiler 通过结合 MLIR 和 PyTorch 的编译生态,实现了 LLaMA 的端到端推理通路。它的设计原则是标准化技术路线、降低上手门槛和提高优化上限。通过 Buddy Compiler,我们可以将 AI 模型从 PyTorch 转换为 MLIR,并进行优化和下降。
Buddy Compiler 的编译通路可以面向通用硬件进行优化,并已在 X86AVX512平台上进行了测试。未来,Buddy Compiler 还计划支持更多的硬件平台,并增加前端的覆盖程度。通过 Buddy Compiler,我们可以更好地利用软硬件协同设计,实现高效的大模型推理。
300万人将被AI替代,2400亿市场谁先破局?
当行业专家、投资人和创业者还在分析这一轮大模型驱动的AI浪潮有哪些机会时,工业AI企业已经先行一步。4月13日,创新奇智推出生成式AI产品——“奇智孔明AInnoGC”,基于创新奇智正在建设的工业预训练大模型,面向制造业垂直场景,提供内容生成和代码生成等能力。同一天,阿丘科技推出升级版缺陷生成平台AIDG,通过AIGC技术,解决AI质检中数据收集慢和标注成本高等问题。站长网2023-05-06 11:49:360000澳大利亚AI公司Appen考虑出售部分或全部业务
**划重点:**1.📉Appen考虑出售部分或全部业务,目前未收到交易提案,但愿意与潜在买家接触。2.💰公司宣布筹集3,000万澳元股权,同时加大成本削减力度,今年总计达6,000万美元。3.📉截至2023年10月底,澳鹏的收入和毛利分别下降29%和32%,股价受挫,执行团队近两年完全更迭。站长网2023-11-21 14:25:090001图片编辑技术StableDrag发布 拖动锚点即可编辑图像同时保持高质量
还记得DragGAN吗?这是一种可以拖动锚点进行图像编辑的技术,但当时代码发布后,由于生成速度慢,且不能自定义外部图片,逐渐被人们淡忘。但现在,一种新的技术StableDrag出现了,它是基于Diffusion模型的,也能完成类似的拖动锚点编辑图片的功能。如果它的实际效果真的如演示的那样,那图片编辑将变得非常方便。站长网2024-03-11 10:00:060002马斯克“现身”世界人工智能大会 称中国一定能做好AI产业
今天,在上海举行的2023年世界人工智能大会上,特斯拉首席执行官马斯克通过视频致辞,宣布了令人振奋的消息。他表示,特斯拉计划在今年晚些时候实现全自动驾驶技术,并表达了对中国人工智能发展的信心。站长网2023-07-06 16:33:390001张楠辞任抖音CEO 抖音集团回应:暂无新设CEO计划
抖音集团CEO张楠决定把未来的精力集中在剪映的发展上,因此他已经辞去了集团CEO的职务。张楠,自2014年加入字节跳动后,以其出色的领导能力和创新思维,成功推动了抖音等产品的从无到有。2018年,他身兼抖音CEO和字节跳动市场品牌负责人,全面负责抖音、火山以及市场品牌等关键业务。站长网2024-02-07 14:08:100000