MLC 项目使得 AMD GPU 在 LLM 推理方面具有竞争力
站长之家(ChinaZ.com) 8月11日消息:AMD GPU 通过 MLC(Machine learning compilation)项目在编译和部署大模型方面取得了进展,实现了与英伟达 GPU 相当的性能。MLC-LLM 方案在 AMD RX 7900 XTX 上的性能达到了英伟达 GeForce RTX 4090 的 80%,而价格只有 RTX 4090 的 60%。
MLC-LLM 可以编译 LLM 并将其部署在使用具有竞争性能的 ROCm 的 AMD GPU 上。更具体地说,对于 Llama2-7B/13B,AMD Radeon™ RX 7900 XTX 的速度是 NVIDIA® GeForce RTX™ 4090 的 80%,是 NVIDIA® GeForce RTX™ 3090Ti 的 94%。除了 ROCm 之外,Vulkan 支持还允许我们将 LLM 部署推广到其他 AMD 设备,例如具有 AMD APU 的 SteamDeck。
机器学习编译(MLC)是一种新兴技术,用于编译和自动优化机器学习工作负载。与为每个独立的后端(如 ROCm 或 CUDA)编写特定的内核不同,MLC 解决方案会自动生成适用于不同后端的代码。利用基于 ML 编译的解决方案 MLC-LLM,为 LLMs 提供高性能的通用部署。MLC-LLM 建立在 Apache TVM Unity 之上,它是一种机器学习编译栈,提供了基于 Python 的开发和通用部署。MLC-LLM 为各种后端(包括 CUDA、Metal、ROCm、Vulkan 和 OpenCL)提供了最先进的性能,涵盖了服务器级 GPU 到移动设备(iPhone 和 Android)。
在较高的层次上,该框架允许用户采用基于 Python 的工作流程,包括转换计算图的 API,优化 GPU 内核的布局和调度,并将其在感兴趣的平台上进行本地部署。
Mastercard推出新AI模型“Decision Intelligence Pro”以提升网络内欺诈检测
划重点:1.📌新模型介绍:Mastercard推出名为“DecisionIntelligencePro”的新AI模型,据称能够比以前提高多达300%的欺诈交易检测率。2.📌模型原理:该模型基于Mastercard每年处理的约1250亿笔交易数据,通过分析持卡人与商家之间的关系,而非像OpenAI的GPT-4或Google的Gemini那样依赖于文字。站长网2024-02-02 15:38:5600004个月接不到广告,千万粉B站UP主“用爱发电、为钱发愁”
B站停更潮一波未平、一波又起。昨天(4月24日),千万粉丝UP主“木鱼水心”回应停更传言的动态直接冲上了微博热搜第一,话题阅读量超过2.5亿次。事情起因是不少网友发现“木鱼水心”自4月5日发布最新一期视频后再未更新,疑似停更。尽管“木鱼水心”在回应中否认了停更传言,表示在打磨新作品,但也指出了现下商业化的“艰难”:站长网2023-04-25 18:13:410001ComfyUI图像放大节点ComfyUI SUPIR 轻松提高图片分辨率
ComfyUI-SUPIR是一个针对ComfyUI的SUPIR(可伸缩高保真图像恢复)升频包装器。它允许用户在ComfyUI中轻松使用SUPIR技术,以提高图像的质量和分辨率。从演示效果来看,ComfyUISUPIR的高清放大效果非常好,放大后细节清晰可见。如果要使用的话,需要下载一个大小为10G的放大模型。站长网2024-03-01 12:00:340000AWS推出“AI Ready”计划,到2025年免费为200万人提供技能提升
**划重点:**1.🚀AWSIndia推出“AIReady”计划,旨在到2025年为2百万人提供免费AI培训,以满足不断增长的对AI人才的需求。2.💼由AWS的数据与AI副总裁SwamiSivasubramanian领导,“AIReady”旨在为现有和未来的劳动力提供易于接触的AI教育。站长网2023-11-23 16:31:140000微软技术主管表示英伟达人工智能芯片的供应正在改善
微软技术主管KevinScott周三表示,与几个月前相比,该公司现在更容易获得运行人工智能工作负载的英伟达芯片。Scott在加利福尼亚州DanaPoint的CodeConference上发言时说,英伟达GPU市场正在逐渐开放。自微软支持OpenAI去年底推出ChatGPT聊天机器人以来,这些GPU一直供不应求。站长网2023-09-28 14:25:450000