最强大开源语言模型?FalconLM号称性能击败Meta的LLaMA
当下,开源语言模型如雨后春笋般的冒出,其中有部分号称性能比Meta、谷歌等大科技公司开发的产品更优秀。
最近,一款名为FalconLM 开源语言模型就号称提供了比 Meta 的 LLaMA 更好的性能,也可以用于商业。但如果收入超过100万美元,则商业用途需要缴纳特许权使用费。
据了解,FalconLM 是由阿拉伯联合酋长国阿布扎比的技术创新研究所 (TII) 开发。该组织声称 FalconLM 是迄今为止最强大的开源语言模型。相比之下,FalconLM 最大的变体拥有400亿个参数,这明显小于Meta 的具有650亿个参数的 LLaMA。
在总结各种基准测试结果的Hugging Face OpenLLM 排行榜上,两个最大的 FalconLM 模型(其中一个已经用指令进行了改进)目前以显着优势占据前两名。
FalconLM 比 GPT-3训练成本更低效果更好
根据开发团队的说法,FalconLM 竞争优势的一个重要方面是训练数据的选择。语言模型在训练期间对数据质量很敏感。
研究团队开发了一种从公共爬网数据集中提取高质量数据并删除重复数据的流程。在彻底清除重复数据后,仍保留了5万亿条文本(token)——足以训练强大的语言模型。
FalconLM 接受了万亿token的训练。TII 还提到了针对性能和效率优化的架构,但没有提供详细信息。
据该团队称,优化的架构与高质量的数据集相结合,使得 FalconLM 在训练期间仅需要GPT-3的75% 的计算量,但明显优于旧的 OpenAI 模型。据说推理成本是 GPT-3的五分之一。
TII 的 FalconLM 用例包括文本生成、解决复杂问题、将模型用作个人聊天机器人,或用于客户服务或翻译等商业领域。
在商业应用中,TII 希望商业使用场景下,使用该语言模型获得100万美元收入后,将收取收入的10% 作为版税,而对于个人使用和研究,FalconLM 是免费的。
FalconLM 模型的所有版本均可从 Huggingface 免费下载,网址:https://huggingface.co/tiiuae。
除了这些模型,该团队还在Apache2.0许可下以开源形式发布了包含6000亿个文本token的“RefinedWeb”数据集的一部分。据说该数据集已准备好进行多模式扩展,因为示例已经包含图像的链接和替代文本。网址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb
iPhone 15支持显示电池循环次数 并引入了电池上限功能
据报道,苹果的iPhone15系列在设置中增加了电池循环次数的显示功能。用户可以方便地查看电池的制造日期、第一次通电以及当前的循环次数等信息。这一功能对于关注电池寿命的用户来说是一个福音,因为它可以让用户更深入地了解设备内部电池的老化状况。此外,iPhone15系列还引入了电池上限功能,可以将日常充电上限设置为80%,从而延长电池的寿命。站长网2023-09-22 09:13:010000斯坦福开发机器人学习框架UMI 可直接复制人类操作给机器人
UMI是斯坦福开发的一个机器人数据收集和策略学习框架,通过手持式夹持器和精心设计的接口进行数据收集。该框架能够将人类在复杂环境下的操作技能直接转移给机器人,无需人类编写详细的编程指令。通过人类亲自操作演示然后收集数据,直接转移到机器人身上,使得机器人能够快速学习新任务。UMI整合了精心设计的策略接口,包括推理时延匹配和相对轨迹动作表示,使得学习到的策略不受硬件限制,可跨多个机器人平台部署。站长网2024-02-22 17:20:110002元气森林不能输的一战
对产品很熟悉的元气森林创始人唐彬森,在5杯外观一模一样的气泡水中,并没有准备识别出有没有自家产品,以及哪家是自家产品。这样的场景发生在2021年央视《对话》节目上,那年是元气森林高速增长的最后一年,仅无糖气泡水就卖出了1亿箱。投资人们为了拿到一点儿份额,一度让元气森林北京亮马桥办公室的前台“人满为患”。所有人都对未来充满信心。站长网2023-05-15 08:49:330000Facebook和Instagram全球死机:Meta已成功修复问题
周二,Meta宣布已成功解决其旗下Facebook、Instagram和Threads服务的中断问题,此前这些问题导致部分美国用户长时间无法登录这些平台。在周二上午的服务中断期间,Meta通信总监安迪·斯通在X上发布帖子承认并致歉,他表示:“我们了解到用户在访问我们的服务时遇到了困难,并已经尽快为所有受影响的人解决了这个问题。”站长网2024-03-06 10:22:200000亚马逊Amazon EC2 P5 实例正式可用 可将训练时间缩减6倍
亚马逊云科技近日在纽约峰会上宣布AmazonElasticComputeCloud(EC2)P5实例正式可用。这是一款下一代GPU实例,由最新的英伟达H100TensorCoreGPU提供支持,可以满足客户在运行人工智能、机器学习和高性能计算工作负载时对高性能和高扩展性的需求。站长网2023-07-31 21:54:530000