开源大模型代码短板补上了!新羊驼Python赛过ChatGPT,10万上下文免费可商用
Llama2系列又上新,这回是Meta官方出品的开源编程大模型Code Llama。
模型一发布,官方直接给贴了个“最强”标签,还强调了一把“免费可商用”。
关键是,Code Llama支持10万token上下文,这可把网友们乐坏了:这是一口气读6000行Python代码不费劲的节奏啊。
OpenAI创始成员Karpathy也闻讯前来围观,还指出了隐藏在论文中的“华点”:Code Llama没有公布的一个“unnatural”版本,性能已经超过ChatGPT,逼近GPT-4。
支持10万token上下文
具体而言,Code Llama可以说是Llama2的代码专用版,你既可以通过聊天的方式让它生成代码、解决编程问题,也可以用它来调试代码。
支持的语言包括Python、C 、Java、PHP、Typescript(Javascript)、C#和Bash等。
Meta提供了Code Llama的三个不同版本:
Code Llama,基础代码模型;
Code Llama-Python,Python微调版;
Code Llama-Instruct,自然语言指令微调版。
其中,Python微调版是在1000亿token的Python代码数据上进行微调的。
而Instruct版则能够更好地理解自然语言提示。
和Llama2一样,Code Llama的3个版本各有3种不同尺寸的模型可供选择,分别是7B、13B和34B。
每个模型都被喂进了5000亿token的代码及代码相关数据。
Meta提到,其中7B模型可以在单个GPU上运行。
另外,7B和13B的基础模型和Instruct版模型都有FIM(fill-in-the-middle)功能。也就是说,它们具备代码填充的能力,可以被用到IDE的代码自动补全场景中。
而最受网友关注的一个功能亮点是,Code Llama的全系列模型都进行了长序列上下文微调,最长支持10万token上下文。
这就意味着,你可以把整个代码库直接塞给Code Llama,再也不用担心大模型帮你调代码的时候根本不理解你想要啥。
有网友就提到,目前GPT-4、GitHub Copliot在实际使用中的一大问题,就是上下文窗口太短,理解不了项目的整体需求。
不过,论文提到,当提示长度超过1.6万token时,Code Llama全系列模型的检索准确性(retrieval accuracy)都有所下降。
最强开源编程大模型
Meta分别在HumanEval和MBPP上测试了Code Llama的性能。
结果显示,Code Llama的表现在一众开源模型中位列第一,超过了Llama2。
具体来说,Code Llama-Python34B在HumanEval上得分为53.7%,在MBPP上得分为56.2%,超过了GPT-3.5(ChatGPT)的48.1%和52.2%。
基础模型版本和Instruct版本也有接近GPT-3.5的表现。
值得一提的是,在论文中,Meta还测试了一个“unnatural”34B版本,性能碾压一众模型,包括ChatGPT,仅略逊于GPT-4。
另外,Meta也在更多样化的编程语言数据集上评估了Code Llama的表现。
在任何语言的代码生成中,Code Llama都优于相同大小的Llama2。从综合得分来看,Code Llama的7B模型甚至超过了Llama2的70B模型。
同时,Code Llama7B的表现也超过了CodeGen-Multi和StarCoder等编程大语言模型,水平与Codex相当。
如果你对Code Llama感兴趣,GitHub项目链接文末奉上~
不过,想要获得代码和模型权重,还得先给Meta发个申请。
参考链接:
[1]GitHub项目页:https://github.com/facebookresearch/codellama
[2]https://ai.meta.com/blog/code-llama-large-language-model-coding/
[3]https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/
通义千问开源720亿参数大模型Qwen-72B
要点:通义千问开源全家桶推出多款模型,包括18亿、70亿、140亿、720亿参数的大型模型,满足不同需求。Qwen-72B是其中一款720亿参数的模型,性能强劲,在多个权威基准测评中超越其他开源和商用模型,填补了中国大模型市场的空白。通义千问的开源模型具有全尺寸、全模态的特点,包括小型模型Qwen-1.8B和音频模型Qwen-Audio,以及强大的推理性能和个性化角色设置。站长网2023-12-01 14:23:540002马斯克:呼吁暂停先进 AI 开发的公开信并没有人会同意
特斯拉和SpaceX的首席执行官在日前的VivaTech大会上发表了主题演讲,讨论了人工智能和Twitter等话题。与本周会议的主要议题保持一致,人工智能(AI)在与主持人MauriceLevy(Publicis集团主席)的讨论中早早地被提及。站长网2023-06-20 16:11:200000Autolabel终结人工标注!AI标注比人类标注效率高100倍
要点:1、开源工具Autolabel能用LLM代替人工高效标注数据,效率提升100倍,成本仅1/7。2、Autolabel支持主流LLM,可快速标注NLP数据集,准确率高达88.4%,超过人工标注。3、Autolabel可估计标注置信度,不同LLM可平衡成本与质量,大幅降低标注门槛。站长网2023-09-18 14:49:010001视频号完善小店商品参数:商家需在期限内完成编辑 逾期将下架商品链接
日前,腾讯发布公告称,为了营造良好的经营环境,推动平台生态健康发展,即日起至5月31日,平台将要求对应类目的商品参数进行完善。视频号小店商家需在视频号小店后台“商品管理-商品列表-对应商品”位置进行相关编辑,逾期未配置的将由平台暂时下架商品链接,视频号小店商家可以补充属性填写后重新提交审核上架。同时,腾讯发布了对应类目商品参数调整的截止日期,具体如下:站长网2023-05-19 11:44:460000重现当年AlphaGo神来之笔!DeepMind新AI发现提速70%排序算法,十年都没更的C++库更新了
DeepMind又双叒叕带着重磅成果登Nature了!这一次,他们又一强化学习AI,在计算机领域最最最基础的两个算法上做了新突破:一个是排序算法,发现了速度最高可提升70%的新实现;另一个是哈希算法,也找到了速度提高30%的新方法。不仅如此,该AI所用方法被称为“重现当年AlphaGo的神来之笔”,也就是看似违法直觉,实则一举击败人类高手李世石的那次。站长网2023-06-11 22:41:510000