登陆注册
17456

​迷你AI模型TinyLlama发布:高性能、仅637MB

站长网2024-01-06 11:15:502

划重点:

- 🚀 经过期待已久,TinyLlama项目发布了一款占用仅637MB的高性能AI模型。

- 📲 可在边缘设备上部署,也可用于辅助大型模型的推测解码。

- 🌐 TinyLlama是Meta开源语言模型Llama2的紧凑版本,性能优越,适用于多领域的语言模型研究。

经过一番期待,TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动,开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后,TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数,大约在训练数据上进行了三个时代,或者说是通过训练数据的三个循环。

TinyLlama的最终版本在性能上超越了现有规模相当的开源语言模型,包括Pythia-1.4B、OPT-1.3B和MPT-1.3B。这标志着一个里程碑,为语言模型领域的发展带来了新的可能性。

这款模型不仅仅是规模小,而且其优越性能使其成为部署在边缘设备上的理想选择,因为它仅占用637MB的存储空间。更令人振奋的是,TinyLlama还可以用于辅助更大型模型的推测解码,这为那些依赖大型模型的任务提供了更为灵活的解决方案。前特斯拉高级AI总监、现任OpenAI的Andrej Karpathy的教程被引用,强调了TinyLlama在这一领域的应用前景。

TinyLlama的团队在设计上将其打造成Meta开源语言模型Llama2的紧凑版本,甚至拥有相同的架构和分词器。这意味着它可以轻松地嵌入到基于Llama构建的项目中,为研究人员和从业者提供了一种“有吸引力”的平台,以进行语言模型研究。尽管规模小巧,TinyLlama展现出了在多领域语言模型研究中的广泛用途。

在实际应用中,苹果的机器学习研究科学家Awni Hannun通过使用MLX(苹果的开源训练工具套件)在8GB Mac Mini上对TinyLlama进行了LoRA微调,这显示了这款模型在各种场景下的灵活性和可塑性。团队表示,“凭借其紧凑的架构和出色的性能,TinyLlama可以在移动设备上实现最终用户应用,并成为测试与语言模型相关的创新想法的轻量级平台。”

随着TinyLlama的发布,团队表示他们计划推出“改进版本”,其中包括扩展其性能和多功能性的计划。这为未来的语言模型研究提供了更多的可能性。

这也是近来小型AI模型崛起的一个例证。一些公司开始关注制作规模相对较小但性能优越的模型,以降低硬件运行成本。微软的Phi项目就是其中之一,其Phi-2模型在尺寸上超过了25倍的模型,展现了小型模型的潜力。谷歌也宣布将推出的Gemini Nano,这是其新旗舰基础模型的小型版本,预计在尺寸上约为32亿参数。

这些小型模型在训练中使用更大模型生成的合成数据,从而在性能上表现出色。这一趋势正在推动着人工智能领域的创新,也使得许多小型模型在性能上能够与像OpenAI的GPT这样的前沿模型相媲美。

项目网址:https://github.com/jzhang38/TinyLlama

0002
评论列表
共(0)条