这款“克隆版”ChatGPT开发成本仅需30美元,还开源了!
站长之家(ChinaZ.com)3月29日 消息:前不久,斯坦福科学家仅用600美元就克隆了OpenAI的ChatGPT的报道引发了不少关注,现在有开发团队仅用30美元成本就开发出了似于 ChatGPT 的聊天机器人。这是怎么做到的呢?(相关文章阅读《意不意外!斯坦福科学家仅用600美元就克隆了OpenAI的ChatGPT》)
开发成本仅为30美元
全球领先的Data AI企业Databricks推出了一款类似于 ChatGPT 的聊天机器人 Dolly(多利),其使用更旧、更小的语言模型创建,开发成本仅为30美元。
Dolly 以世界上第一只克隆哺乳动物绵羊命名,与 ChatGPT 有关键区别。它的代码不仅可以免费公开获取,而且 Dolly 是在一个只有60亿个参数的小得多的语言模型上接受训练的。对比下GPT-3有1750亿个参数(ChatGPT 在 GPT-3.5上进行了微调)。Dolly 还仅使用八个 Nvidia A10040GB GPU 进行了训练,而 ChatGPT 则使用了10,000个。
该团队表示,“我们认为这一发现很重要,因为它表明创造强大的人工智能技术的能力比以前意识到的要容易得多。”
Dolly 基于由 Databricks 开发的因果语言模型,该模型源自 EleutherAI 已有两年历史的 GPT-J 语言模型。根据这家数据软件公司的博客,它对大约52,000条由问答对组成的记录进行了微调,以生成头脑风暴、文本生成和“原始模型中不存在”的开放式问答等指令遵循功能。
“令人惊讶的是,指令跟踪似乎并不需要最新或最大的模型,”其研究人员说。
这52,000条记录来自斯坦福大学的聊天机器人 Alpaca(羊驼),它在 Meta 的 LLaMA 大型语言模型 (LLM) 上进行了训练,开发成本不到600美元。Alpaca 也展示了类似 ChatGPT 的输出能力,但演示在发布后不久就因产生“幻觉”而关闭。
输出质量与ChatGPT相似
Databricks 的团队表示,根据 ChatGPT 所基于的 InstructGPT 论文中的指令跟踪能力评估,Dolly 的输出质量与 ChatGPT 的输出质量相似。
该团队写道:“这表明,ChatGPT等最先进模型中的大部分定性收益可能是由于集中的指令跟踪训练数据,而不是更大或更好调整的基础模型。”
Databricks 表示,由于斯坦福大学的 Alpaca 基于 Meta 最先进的 LLaMA,它预计在质量输出方面“更胜一筹”,而 Dolly 是基于免费的、较旧的开源模型。
至于Dolly的缺陷方面,该团队表示,聊天机器人“在句法复杂的提示、数学运算、事实错误、日期和时间、开放式问题回答、幻觉、列举特定长度的列表和文体模仿方面很不理想。”
这些注意事项在 Dolly 的 GitHub 页面上公开,如果其他人想开发自己的聊天机器人,可以使用该页面的代码。
(项目网址:https://github.com/databrickslabs/dolly)
“我们相信 Dolly 的底层技术为那些希望以低廉的成本构建自己的指令遵循模型的公司提供了一个令人兴奋的新机会,”该团队表示。此外,公司可能会更愿意将专有数据输入他们自己的聊天机器人,而不是将其提供给像 ChatGPT 这样的公共聊天机器人。
全球一半人口2035年可能超重 我们将为肥胖支付超4万亿美元
据环球时报援引路透社报道,世界肥胖联合会近日发布了“2023年世界肥胖地图集”。报告显示,如果不采取有效措施,到2035年,全球一半人口将肥胖或超重,超过40亿人。报告指出,儿童的肥胖率和低收入国家的肥胖率正快速上升,到2035年,儿童的肥胖人数可能比2020年增加一倍以上,男孩达到2.08亿,女孩达1.75亿。此外,未来几年,亚洲和非洲中低收入的国家将成为全世界肥胖人数增加最多的国家。站长网2023-03-06 10:42:020003《福布斯》年度富豪榜:马斯克失首富 贝佐斯最惨
凤凰网科技讯北京时间4月5日消息,2022年对科技公司来说是艰难的一年,股价的暴跌也给这些公司创始人的财富造成了巨大损失。《福布斯》周二发布了2023年度全球富豪排行榜,确定了去年财富遭受最大打击的亿万富翁:亚马逊创始人杰夫贝佐斯(JeffBezos)。与此同时,特斯拉CEO埃隆马斯克(ElonMusk)也失去了世界首富位置。站长网2023-04-05 14:50:260000新品35期|扩列、虚拟、AI,哪一个还能成为社交流量密码?
这里是白鲸出海为投资人和开发者寻找产品“灵感”而专设的周更专题——《新品》。无特殊情况下,《新品》将会每隔一周在周一或周五进行推送(出现紧急工作后延),推送内容为5款还未正式上线或者刚刚上线的潜力App(包括:名称、icon、简单功能介绍、以及App亮点)。站长网2023-03-28 09:46:530004AI大模型创业:诸神之战,凡人无缘?
AI2.0已经到来,会诞生比移动互联网大十倍的平台机会。“白驹过隙,我也计划走向职业生涯的下一个挑战。”图片来自朋友圈3月21日,被誉为“AI框架领域第一华人”的阿里技术副总裁贾扬清在其朋友圈官宣离职,该消息犹如一颗重磅炸弹投向了科技圈。站长网2023-03-24 09:21:350000MCN和达人的人性游戏:谈钱,还是感情?
今年以来,网红行业至少发生了两件大事。2月2日,杭州微念退出四川子柒文化传播有限公司,彻底失去“李子柒”品牌控制权。和李子柒矛盾公开一年多后,微念的商业价值可以说受到了极大损伤。2月21日,新东方在线发布公告,拟授权限额约1.01亿股用于激励人才。当月,因为董宇辉离职传言,新东方股价曾出现明显波动。如何留住董宇辉正成为外界评估新东方商业价值的重要因素。站长网2023-03-10 09:16:200000