微软开源最强小参数大模型—Phi-3 Mini
4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。
据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。
Phi-3-mini对内存的占用极少,可以在 iPhone14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制,但每秒仍能生成12个tokens数据。
值得一提的是,微软在预训练Phi-3-mini时使用了合成数据,能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。
开源地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama地址:https://ollama.com/library/phi3
技术报告:https://arxiv.org/abs/2404.14219
2023年6月,微软首次推出了专用于Python编码的模型Phi-1,只有13亿参数却在编程领域击败了GPT-3.5等知名模型,这让微软看到小参数模型的广阔发展空间。
随后在Phi-1基础之上,微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5,成为当时最强小参数模型之一。
2023年12月,微软在Phi-1.5基础之上开发了Phi-2,参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下,击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中,Phi-2的性能甚至超过了700亿参数的Llama-2。
本次发布的Phi-3系列集合了之前三代所有的优秀技术特征,并使用了海量高质量数据集、创新的训练、微调方法,使其成为目前最强的开源小参数模型。
Phi-3-mini架构简单介绍
Phi-3-mini采用了transformer架构,支持4K和128K上下文窗口,也是同类小模型中第一个支持128K的开源产品。
高质量训练数据集是Phi-3-mini性能超强的重要原因之一,微软使用了3.3T tokens数据集包括:经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码;
通过合成数据创建的教科书式数据,例如,数学、编码、常识推理、世界常识、心理科学等;
高质量聊天格式的监督数据,涵盖各种主题以反映人类在不同方面的偏好,例如,遵循指令、真实性、诚实性等。
在训练策略方面,为了帮助Phi-3-mini更好地吸收合成数据,微软使用了迭代训练策略:初始阶段,Phi-3-mini使用了公开网络数据,学会了基本的语法、语义和上下文理解;
迭代阶段,将合成数据与网络数据合并构建全新的训练集,并对Phi-3-mini进行迭代训练,进一步强化模型的理解和生成能力,并且进行多次重复训练。
测试数据方面,Phi-3Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中,对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。
结果显示,Phi-3-mini仅通过少量样本提示,在语言理解、编码、数学的性能超过了参数更大的模型,整体性能非常出色。
微软表示,在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中,Phi-3-medium的性能可媲美Mixtral8x7B 和GPT-3.5,资源消耗却更少。
“3 天删了 5 万行代码后,我的 Web 程序活得更好了!”
站在一名技术工程师的角度来看,「一款完美的应用程序,并不是指所有功能一应俱全,已经没有什么新功能能够添加进来,而是指所有功能版块都非常重要且活跃度很高,已经没有什么可以删除了」。0000雷军:小米 SU7 全系标配高速领航、一键代客泊车
今日,小米官方正式对外公布,SU7系列汽车将于3月28日晚7点揭开神秘面纱。这款新车的一大亮点在于全系标配了智能辅助驾驶系统,包括XiaomiPilotPro和XiaomiPilotMax两个版本,展现了小米在智能驾驶领域的强大实力。站长网2024-03-26 16:56:150000产品力超越所有Pro机型!一加12将于12月5日发布
一加12手机于今日正式官宣,将于12月5日14:30正式发布,宣称超越所有骁龙8Gen3手机的Pro版。一加李杰表示,一加12还搭载全新升级的超算平台”技术,行业从未有过的护眼方案,携手哈苏完整落地的新一代超光影影像系统”,无论是屏幕、影像、性能、充电续航等这些看得见”的体验,还是振动、触控、屏幕、信号、指纹等这些看不见”的体验,一加都投入了巨大的研发资源。站长网2023-11-27 09:41:590000带货七天七夜“重启天涯”?这次直播或难当大任
自从直播和电商沾上了边,直播对于互联网的意义,就在不在只限于娱乐工具。很多失意的企业家把直播视为翻身的途径,很多企业也把直播当做转型的方向。4月底,曾经在中国互联网有着重要地位的天涯社区因为数据中心欠费、服务器被停,和众多网友不辞而别,让人感到遗憾与惋惜。如今,在天涯“瘫痪”半个月后,有一群人想为了情怀,再次让天涯社区复活,而复活的形式就是直播。站长网2023-05-18 18:18:590000文生视频软件Viggle 可通过文字让静态图片跳舞
Viggle是一款具有创新功能的软件,它能够让用户通过文字描述让任何静态图像动起来。不仅如此,它还能让图像进行各种动作,如跳舞等,而且效果非常真实。产品入口:https://top.aibase.com/tool/viggle可在discord免费体验:https://discord.com/invite/5kk5SKwTWd核心功能:站长网2024-03-25 12:03:410000