Hugging Face发布新开源编程大语言模型StarCoder :可自动写代码、根据指令改代码
企业工作流公司 ServiceNow 和 ML 工具开发商 Hugging Face 开发了一种用于编码的开源大型语言生成 AI 模型——StarCoder LLM。
这是一个150亿参数的模型,旨在为开放式人工智能研究社区负责任地生成代码。StarCoder 是 ServiceNow 和 Hugging Face 研究人员采用StarCoderBase模型的结果,该模型根据来自 GitHub 的许可数据进行训练,涵盖80多种编程语言,并在350亿个 Python token上对其进行微调。
据称,StarCoder LLM模型优于现有的开放代码生成模型以及封闭模型,例如 OpenAI 的 code-cushman-001,这是为早期版本的GitHub Copilot提供支持的原始Codex模型。
根据 ServiceNow 和 Hugging Face 的说法,该模型拥有超过8,000个token的上下文长度,这意味着它可以处理大量输入,从而“启用各种有趣的应用程序”。
Hugging Face 研究人员在一篇博文中解释说:“例如,通过用一系列对话提示 StarCoder 模型,我们让它们充当技术助手。此外,还可用于自动完成代码、通过指令修改代码以及用自然语言解释代码片段。”
StarCoder 与几个类似的模型进行了比较,包括 Google 的PaLM和LaMDA以及 Meta 的LLaMA。使用包括 HumanEval 在内的多个基准对模型进行了评估。
尽管体积小得多,但研究人员发现 StarCoder 和底层的 StarCoderBase 都优于其竞争对手。
该团队还观察到,通过强制模型生成实际的编码解决方案,它提高了性能得分。据其背后的研究团队称,StarCoder 还在多语言基准测试 MultiPL-E 上进行了测试,并取得了同样令人印象深刻的结果。
StarCoder 在 Hugging Face 宣布其已开发开源版本的 ChatGPT“ Hugging Chat”之后发布的。
StarCoder LLM网址:https://huggingface.co/bigcode/starcoder
存储库:bigcode/Megatron-LM
项目网站:bigcode-project.org
Hugging Chat网址:https://huggingface.co/chat/
WPS AI宣布接入WPS Mac版 提供内容生成等功能
WPS宣布,Mac版的WPS已经接入了WPSAI,这将带来内容生成、内容修改和辅助阅读等功能。现在,用户可以通过WPSAI一键生成文章大纲、讲话稿、会议纪要等文件,完成文章续写、扩充篇幅、润色段落等任务,以及利用WPSAI提炼长文档的重点,为外文文件进行解释和总结。站长网2023-10-24 17:28:140002智能化招聘平台Moka发布AI原生HR SaaS产品 “Moka Eva”
2023年6月28日,智能化招聘管理平台Moka在北京召开2023夏季新品发布会,发布了Moka首个AI原生HRSaaS整体解决方案以及面向AGI时代的AIHR伙伴——MokaEva。MokaEva推出了五大能力,包括:简历智能初筛、定制面试题、AI写面评、对话式BI和员工Chatbot等。站长网2023-06-29 19:07:340000OpenAI内幕文件惊人曝出,Q*疑能破解加密!AI背着人类在编程,网友:三个月接近AGI
Q*项目,又传出了炸裂消息——在人类看不见的角落里,AI竟然自己在偷偷编程?传言称,Q-Star想出了一种破解加密的方法,OpenAI试图就此向NSA提出预警。今天凌晨开始,一个谷歌文档链接忽然在网上疯转,其中包括关于OpenAIQ*的泄密文件,以及令人信服的分析汇编。事情还要从6天前说起,据说,OpenAI的一名员工见证了AI的突破,并且在网上写下了这件事。站长网2023-11-28 17:42:310000大模型开山鼻祖!InstructGPT发布两周年了
今天是InstructGPT发布两周年的纪念日,它是现代大语言模型的开山鼻祖。JimFan介绍了InstructGPT的重要性并且说了几条关于InstructGPT非常有意思的点。还展示了InstructGPT中非常经典的三步LLM训练方法的图片,我也顺便让GPT-4解释了一下也顺便放在下面。站长网2024-01-29 10:20:240000OpenAI“散架”了,董事会突然开除Sam Altman,技术核心跟着不干了
就在刚刚,OpenAI在官网宣布一条让人不敢相信自己眼睛的爆炸性新闻:"OpenAI领导层变动:SamAltman将卸任首席执行官并离开董事会。公司的首席技术官MiraMurati将立即担任临时CEO。"所有外界的反应都是:What?!不是,这是发生啥了?也太刺激了吧!站长网2023-11-19 09:44:340001