OpenAI神秘模型,再次被Sam Altman提及
5月6日,OpenAI首席执行官Sam Altman在社交平台分享了一条推文“我是一个优秀的GPT-2聊天机器人”。
而在4月30日,Altman就提起过该模型非常喜欢GPT-2。按道理说一个只有15亿参数在2019年发布的开源模型,被反复提及两次就很不寻常。
更意外的是GPT-2曾短暂上榜LMSYS的聊天机器人竞技场性能媲美GPT-4、Claude Opus等模型。
很多人猜测,难道这是OpenAI即将发布的GPT-4.5、GPT-5?但在5月2日的一场公开演讲中,Altman否认了这个说法。
GPT-2开源地址:https://github.com/openai/gpt-2
论文地址:https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
从GPT-2展示出的性能来看有一点是可以肯定的,OpenAI掌握了一种新的训练、微调模型方法,可将小参数模型的性能训练的和大参数模型一样优秀,就像微软刚发布的Phi-3系列模型。
所以,这可能是一款针对手机、平板等移动设备的高性能、低消耗模型。因为,微软、谷歌、Meta等科技巨头都发布了针对移动端的大模型,唯独OpenAI迟迟没有发布。
加上苹果正在与OpenAI、谷歌洽谈希望在iOS18中使用GPT系列模型来增强用户体验和产品性能。非常善于营销的Altman用这种“新锅抄旧菜”的方法进行病毒式宣传来赢得苹果的信任。
一方面,可以极大展示自己模型的性能与技术实力;另一方面给谷歌造成压力,虽然其Gemini系列是针对移动端的,但在市场应用方面并没有太多的反响。
开发移动端的大模型都有一个非常相似的技术特点,就是参数都非常小。例如,微软刚发布的Phi-3系列模型,最小的只有13亿参数;谷歌的Gemini系列模型最小的只有18亿。
这是因为,参数越大模型的神经元就越多对硬件的要求也就越高。如果想部署在移动端的大模型需要考虑电池、存储空间、算力、延迟、推理效率等因素,才能在有限的硬件空间内发挥出最大的性能。例如,直接使用一个1000亿参数的模型,可能还没问几下电池先耗尽了。
此外,在移动设备对推理的效率要求也很高。目前手机端的延迟大概是web、PC端的数倍,如果想更好地使用语音助手、实时翻译、文本问答这些功能,也是使用小参数模型的主要原因之一。
所以,OpenAI使用在2019年开源的15亿参数GPT-2模型来实验最合适不过了,并且架构也是基于Transformer,基本上是GPT-3、GPT-4的先辈模型。
当然,如果未来OpenAI真的发布面向移动端的小参数模型,名字肯定不会再叫GPT-2,大概会起GPT-4mini/little一类的吧。
好莱坞演员罢工结束:协议确立人工智能对演员数字形象使用的新规范
在结束了长达118天的罢工后,根据最新的劳资协议,影视制作公司必须获得演员的许可才能在由人工智能(AI)生成的材料中使用他们的形象,并且每当屏幕上出现演员的数字替身时,都必须支付报酬。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-11-10 09:04:070001SpaceX再送4名“私人”宇航员上太空:将开展13项实验
快科技1月19日消息,据媒体报道,美国东部时间18日16时49分,SpaceX搭载4名航天员的公理三号”(Ax-3)龙”飞船由猎鹰九号”运载火箭从佛州肯尼迪航天中心LC-39A工位发射升空。0000“重启天涯”再重启,初代互联网人被直播上了一课 | 对话天涯前总编宋铮
“重启天涯”正在进行第二次重启。一群初代互联网人受到七天七夜带货直播的“毒打”后,没有放弃筹集300万元这个小目标,将于明天回归抖音直播间,开启新一轮直播。前天涯总编宋铮(江湖人称老黑)6月19日在朋友圈发文称,希望将“七天七夜”直播中暴露出的所有不专业都尽可能改掉,学习并尊重平台的流量规则,保持特色的基础上有更好的普适性和变现能力。老黑朋友圈,下滑查看全文站长网2023-06-23 15:07:080004分解大模型的神经元!Claude团队最新研究火了,网友:打开黑盒
神经网络的不可解释性,一直是AI领域的“老大难”问题。但现在,我们似乎取得了一丝进展——ChatGPT最强竞对Claude背后的公司Anthropic,利用字典学习成功将大约500个神经元分解成了约4000个可解释特征。站长网2023-10-07 15:26:2300001小时700元、年入7000万 谁在靠年轻人的焦虑赚钱
在成为疗愈师的三年时间里,来找刘倩咨询的客户,面临着晋升失败、被裁员优化、失恋、亲子关系紧张等各种职场、生活问题。年轻人无法自洽的情绪,在疗愈师的帮助下得到缓解,也带火了从冥想、正念,到颂钵音疗、芳疗、绘画疗愈,再到禅修、旅修等一系列新兴疗愈经济。一时间,关注人的身体、心理、精神健康与个人成长的身心灵产业再度受到关注。但由于尚且缺乏平台和规范化监管,眼下的疗愈行业火爆与野蛮生长并存。站长网2023-10-22 09:41:590001