Mozilla 让人们将 AI LLM 变成单文件可执行文件,简化大型语言模型的分发和运行
供本地使用的 LLM(大型语言模型)通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用,这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整,如果使用不同的版本,则会导致不同的结果。
Mozilla 的创新团队最近发布了 llamafile,这是一种开源方法,用于将一组权重转换为单个可在六种不同操作系统(macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD)上运行的二进制文件,无需安装。这大大简化了大型语言模型(LLMs)的分发和运行,并确保特定版本的 LLM 保持一致性和可重现性。
这一成就离不开 [Justine Tunney] 的贡献,他是一次构建、多处运行框架 Cosmopolitan 的创造者。另一个主要部分是 llama.cpp,它在运行自托管 LLM 方面具有重要作用。
有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二进制文件可供使用。需要注意的是,如果您使用的是 Windows 平台,只有 LLaVA 1.5 能运行,因为它是唯一一个符合 Windows 对可执行文件 4 GB 大小限制的模型。如果遇到问题,请查看「常见问题」列表以获取故障排除提示。
llamafile 的发布标志着在大型语言模型的分发和运行方面的进步。这不仅降低了使用这些模型的技术门槛,也使得开发者和研究人员能够更容易地在多种操作系统上使用这些强大的 AI 工具。
随着越来越多的 LLMs 的开发和应用,llamafile 提供了一个有效的解决方案,以确保这些模型的有效和一致的使用。
据了解,在这里提到的权重是指在机器学习和人工智能领域中的一个术语。在大型语言模型(LLMs,如 GPT-4)中,权重是模型在训练过程中学习到的参数,用来确定输入数据如何转换为输出结果。这些权重决定了模型如何解释和处理输入的数据。
因此,当说到 LLMs 通常以多个 Gigabyte 的文件形式分发一组权重时,意味着这些文件包含了模型在训练过程中学到的所有必要参数。这些权重文件本身不能直接使用,需要通过特定的软件框架或环境来加载和运行,这使得与其他类型的软件相比,它们的分发和运行更加复杂。
苹果公司市值再次突破3万亿美元
截止昨日收盘,苹果公司再次实现了市值3万亿美元的里程碑,这是该公司时隔四个多月后的首次达到这一水平。截至当地时间周二美股收盘,苹果股价上涨2.11%,报收于193.42美元。今年6月30日,该公司市值达到3.05万亿美元,成为全球首家市值突破3万亿美元的公司。站长网2023-12-06 11:22:350000国家邮政局:中秋国庆假期全国揽投快递包裹超51.47亿件
国家邮政局监测数据显示,今年中秋国庆放假期间(9月29日-10月6日),全国揽投快递包裹超51.47亿件。其中,全国邮政行业揽收快递与包裹25.75亿件(不包含邮政集团包裹业务),日均揽收量与2019年国庆长假相比增长122.6%,与2022年国庆长假相比增长8.6%;站长网2023-10-07 11:01:130000Gemini、GPT-4谁更强!周鸿祎:长期看谷歌赶上GPT-4绰绰有余
快科技12月10日消息,近日,谷歌发布Gemini1.0,这是谷歌迄今为止构建的最强大、最通用、最灵活的模型,被看做是OpenAIGPT-4最强对手。日前,360集团创始人、董事长周鸿祎在微博发文,谈到了Gemini和GPT-4谁更强。周鸿祎表示,谷歌的商业模式靠搜索和广告,做大模型等于左手打右手,所以没有全力做,这才给了OpenAI表现的机会,现在谷歌想明白了,与其被人打死不如主动转变。站长网2023-12-10 09:52:250001自研AI芯片,拉拢AMD英伟达,定制化的Copilot和100多项AI更新……微软从没如此可怕过
沸沸扬扬传了许久的微软首款自研AI芯片,今天终于向外界露出了庐山真面目。美西时间11月15日上午,2023MicrosoftIgnite大会在西雅图会议中心举行。这是微软针对IT专业人员、企业决策者和开发者召开的年度技术会议,主要介绍Azure云服务、企业级解决方案、以及Windows、微软365、Copilot等全套产品的最新动态,还包含了技术培训、产品演示和趋势讨论。站长网2023-11-16 15:59:100000淘宝测试 “淘宝报销机” 功能 最高可获888元报销金额
近日,淘宝APP在一轮版本更新后,上线了一项名为“淘宝报销机”的功能。该功能允许淘宝用户在活动期间内通过上传各个购物平台的订单进行一键报销,最高可获得888元的报销金额。参与该活动的条件是必须为淘宝注册用户,并且淘宝会员账户已绑定支付宝账号并完成实名认证。站长网2023-09-25 09:21:130000