迷你AI模型TinyLlama发布:高性能、仅637MB
划重点:
- 🚀 经过期待已久,TinyLlama项目发布了一款占用仅637MB的高性能AI模型。
- 📲 可在边缘设备上部署,也可用于辅助大型模型的推测解码。
- 🌐 TinyLlama是Meta开源语言模型Llama2的紧凑版本,性能优越,适用于多领域的语言模型研究。
经过一番期待,TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动,开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后,TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数,大约在训练数据上进行了三个时代,或者说是通过训练数据的三个循环。
TinyLlama的最终版本在性能上超越了现有规模相当的开源语言模型,包括Pythia-1.4B、OPT-1.3B和MPT-1.3B。这标志着一个里程碑,为语言模型领域的发展带来了新的可能性。
这款模型不仅仅是规模小,而且其优越性能使其成为部署在边缘设备上的理想选择,因为它仅占用637MB的存储空间。更令人振奋的是,TinyLlama还可以用于辅助更大型模型的推测解码,这为那些依赖大型模型的任务提供了更为灵活的解决方案。前特斯拉高级AI总监、现任OpenAI的Andrej Karpathy的教程被引用,强调了TinyLlama在这一领域的应用前景。
TinyLlama的团队在设计上将其打造成Meta开源语言模型Llama2的紧凑版本,甚至拥有相同的架构和分词器。这意味着它可以轻松地嵌入到基于Llama构建的项目中,为研究人员和从业者提供了一种“有吸引力”的平台,以进行语言模型研究。尽管规模小巧,TinyLlama展现出了在多领域语言模型研究中的广泛用途。
在实际应用中,苹果的机器学习研究科学家Awni Hannun通过使用MLX(苹果的开源训练工具套件)在8GB Mac Mini上对TinyLlama进行了LoRA微调,这显示了这款模型在各种场景下的灵活性和可塑性。团队表示,“凭借其紧凑的架构和出色的性能,TinyLlama可以在移动设备上实现最终用户应用,并成为测试与语言模型相关的创新想法的轻量级平台。”
随着TinyLlama的发布,团队表示他们计划推出“改进版本”,其中包括扩展其性能和多功能性的计划。这为未来的语言模型研究提供了更多的可能性。
这也是近来小型AI模型崛起的一个例证。一些公司开始关注制作规模相对较小但性能优越的模型,以降低硬件运行成本。微软的Phi项目就是其中之一,其Phi-2模型在尺寸上超过了25倍的模型,展现了小型模型的潜力。谷歌也宣布将推出的Gemini Nano,这是其新旗舰基础模型的小型版本,预计在尺寸上约为32亿参数。
这些小型模型在训练中使用更大模型生成的合成数据,从而在性能上表现出色。这一趋势正在推动着人工智能领域的创新,也使得许多小型模型在性能上能够与像OpenAI的GPT这样的前沿模型相媲美。
项目网址:https://github.com/jzhang38/TinyLlama
苹果为杀入AI领域低调收购,iOS 18要有大动作
苹果一直是人工智能公司的最大买家,甚至超过了微软和谷歌。在AI领域百花齐放的当下,作为全球顶尖的科技公司苹果,似乎掀起的水花不是很大。苹果在AI领域的布局到底是什么,或许苹果CEO蒂姆・库克的一句话可以为我们答疑解惑。此前在2024苹果股东大会上,库克表示,今年将在GenAI领域实现重大进展。此外,苹果宣布放弃10年之久的造车项目之后,一部分造车团队成员也开始转向GenAI。站长网2024-03-17 18:19:260000淘天回应淘特逐步并回淘宝:增加手淘全量供给服务原有用户
阿里巴巴旗下的电商平台淘特,一直专注于源头直供和M2C模式的运营。然而,根据《晚点LatePost》的报道,淘特平台上的商家和商品正开始逐渐迁回淘宝。在迁移过程中,商品将保留原有的销量、评价等数据标签。目前,部分淘特商家已接到通知,并开始进行迁移测试,以优化更多细节。站长网2024-02-26 17:16:340000ChatGPT锐评“一生不结婚,会面临什么” 抖音获赞25.5万
ChatGPT3.5版本如今在手机端也能免费使用语音对话,激起了网友们的创意潮流。抖音博主“AI领航者·奕霆”挑战ChatGPT,提出了一个备受关注的问题:“一生不结婚,会面临什么?”ChatGPT的回答却出人意料:站长网2023-11-28 16:04:010000Netflix发布一份AI相关的岗位名单 演员日薪低至200美元
据yahoonews报道,近期闹得沸沸扬扬的好莱坞罢工事件,似乎双方不会马上有解决的方案。看起来大公司们正准备进行一场持久战,这一点从Netflix最近发布的一份机器学习平台产品经理的招聘信息中就可以看出来。站长网2023-07-26 15:56:360000极兔疯狂买买买,背后是中国快递加速整合,三大阵营浮出水面
最近极兔和顺丰突然官宣,双方达成交易,顺丰旗下加盟制网络——丰网易主极兔,引起了行业的震惊。有评论称,极兔堪称猛虎,一路狂奔,胃口大开,一年多前刚刚买下百世的国内快递业务,此次又再度吞入丰网。进入中国市场不到三年,疯狂极兔,已经即将跻身日均5000万单俱乐部,与一干在行业浸淫了十几二十年的老大哥共享蛋糕。站长网2023-05-24 00:19:250000