OnnxStream:内存友好的机器学习推理引擎 可在树莓派Zero 2上运行Stable Diffusion 1.5
OnnxStream是一款专注于减少内存占用、提高推理效率的机器学习推理引擎。它的设计目标是在资源受限的环境中运行深度学习模型,如树莓派Zero2,该设备只有512MB的RAM。
通过OnnxStream,用户现在可以在这种低功耗设备上运行复杂的算法,这对于需要在移动环境中处理大量数据的用户来说是一个重大突破。
项目地址:
https://github.com/vitoplantamura/OnnxStream/tree/846da873570a737b49154e8f835704264864b0fe
目前,OnnxStream的源代码已经在GitHub上开源,任何感兴趣的用户都可以查看和使用。这一创新为在资源有限的环境中运行深度学习算法提供了新的可能性,对于技术爱好者和开发者来说是一个令人振奋的消息。
核心功能:
1. 内存占用极低:OnnxStream的最大特点之一是其出色的内存管理能力。它可以将内存占用降低到极低的水平,甚至可以在RAM只有512MB的树莓派Zero2上运行大型深度学习模型,如Stable Diffusion XL1.0。
2. 权重加载器:OnnxStream提供了权重加载器(WeightsProvider)的接口,用户可以根据自己的需求实现不同的权重加载逻辑。默认情况下,OnnxStream提供了两种加载器:DiskNoCache和DiskPrefetch,分别用于不缓存和预加载权重数据。
3. 注意力切片:在运行UNET模型时,OnnxStream支持注意力切片(Attention Slicing),这可以显著减少计算中的内存占用,从而使模型在资源受限的设备上运行更加顺畅。
4. 动态量化和静态量化:OnnxStream支持动态量化和静态量化,这有助于减少模型的内存占用,并提高推理速度。用户可以根据自己的需求选择不同的量化方式。
5. 跨平台支持:OnnxStream可以在多个平台上运行,包括Linux、Mac、Windows和Termux。它的跨平台性使得用户可以在不同的设备上灵活使用。
美国加州将监管该地区生成式AI的使用
文章概要:1.加州州长签署行政命令,规范生成式人工智能在政府机构中的使用,引领其他州效仿。2.命令要求风险分析,关注基础设施安全和弱势社区,建立沙箱测试项目,并提供员工培训。3.合作顶尖大学,2024年举办联合峰会,讨论生成式人工智能对州及劳动力的影响。站长网2023-09-08 14:25:070002印媒:OpenAI 可能会在 2024 年底破产 ChatGPT 需要巨大的运行成本
ChatGPT去年发布后,成为增长最快的人工智能平台之一。然而,近几个月来,最初的欣喜若狂的人数增长已经停止。OpenAI是把人工智能(AI)带入寻常百姓家的公司,但它可能面临不乐观的未来。根据AnalyticsIndiaMagazine的一份报告,按照目前的速度继续烧钱,由SamAltman领导的公司可能会在2024年底之前破产。站长网2023-08-14 14:15:340000美团全资收购光年之外,王兴亲自下场抓大模型
美团全资收购光年之外在国内互联网科技企业大模型之战打得如火如荼时,外卖巨头美团也加入了战局中。大约一个月前,美团就在港交所宣布以20.65亿元收购大模型创业公司光年之外的全部权益。一个月后,光年之外发生工商变更,全资股东由王慧文变更为美团旗下天津三快科技有限公司,这也意味着美团正式入股光年之外。(图源:天眼查)站长网2023-08-09 12:22:170000国家新闻出版署公布新一批进口游戏版号 40款游戏获批
国家新闻出版署公布新一批进口游戏版号,40款新游获批。其中,完美世界《一拳超人:世界》、吉比特旗下雷霆网络《烛火地牢2》、中青宝《怪物火车》、恺英网络《关于我转生变成史莱姆这档事:新世界》等过审。0000