内部人士透露:OpenAI 很可能将 GPT-3.5 开源
OpenAI 很可能在未来几个月内发布其模型的权重。OpenAI 的 Andrej Karpathy 最近表示,所有这些对于转换器语言模型来说都是非常通用的。“如果 / 当 OpenAI 发布模型权重(我既不能确认也不能否认!),那么这里的大部分代码将非常相关。”
根据 OpenAI Karpathy 的说法,OpenAI 很可能会开源 GPT-3.5,他是深度学习领域的知名人物。需要注意的是,公司尚未正式宣布此事。这个对话是从 Twitter(现在是 X)的一个帖子中开始的,其中一个用户问 Karpathy 为什么一直在玩 Llama2,而不是为 OpenAI 构建 Jarvis。
这一新发展是在最近发布的 Baby Llama(又名 llama.c)的背景下的,Karpathy 在他最近的实验中探索了在单台计算机上运行大型语言模型(LLMs)的概念,这受到了 Meta 的 Llama2发布的启发。
Karpathy 表示,llama2.c 现在可以加载和推理 Meta 发布的模型。他进一步举了一个例子,即在云 Linux 服务器上的96个 OMP 线程上以大约3个标记 / 秒的速度推理最小的7B 模型,并且预计很快可以达到约300个标记 / 秒的速度。
此外,他表示,如果你可以让7B 模型以良好和交互性的速度运行,那么你可以在最小的 llama2.c 仓库代码中从 “从头训练的微模型” 到 “LoRA 微调的7B 基础模型” 进行转变(包括训练和推理)。可以实现更高的能力并使用更少的训练数据。
有趣的是,Karpathy 的方法的成功在于其能够以高度交互的速度运行,即使是包含几百万参数的合理大小的模型,并且是在一个包含1500万参数的 TinyStories 数据集的模型上训练的。
希望它能带回真正的 OpenAI,该公司最初是一家开源非营利公司,Karpathy 是最初的创始成员之一,在为开源社区做出贡献方面发挥了积极作用。
谷歌聊天机器人Bard为“Google it”按钮添加了更多搜索主题
为了进一步探索AI聊天机器人的功能,Google将谷歌搜索引擎的自动搜索短语集成到Bard聊天机器人中。据悉,谷歌正在将搜索建议整合到其Bard聊天机器人中,用户在回复后点击Bard中的“Googleit”按钮,将首先收到与主题匹配的搜索短语建议,点击该短语将带出匹配结果的谷歌搜索页面。谷歌表示,此举旨在涵盖更广泛的兴趣范围和更多相关主题。站长网2023-04-12 11:41:290000世纪大和解:淘宝能从微信买流量了
今年双十一到来前,阿里和腾讯先给了外界一个惊喜。近日,阿里妈妈和腾讯广告官宣合作,将实现淘宝和微信广告流量的全面直连,推出“双11超引爆”计划。简单来说,就是淘宝商家可以借助阿里妈妈的广告系统,到微信视频号、朋友圈、小程序等生态上做流量投放了。这也透露出一个信号,淘宝和微信长达十年的“封锁之战”,终于接近尾声。站长网2023-09-27 09:08:140000苹果发布 iOS 15.7.5.、macOS 11.7.6 和 macOS 12.6.5 安全更新
苹果公司今天推送了新的iOS15.7.5.macOSBIGSur11.7.6和macOSMonterey12.6.5更新,新软件为那些运行旧版Mac、iPad和iPhone的用户引入了安全改进,这些软件无法更新到iOS16.iPadOS16和macOSVentura。站长网2023-04-12 12:38:410000语音合成工具Narakeet:输入文本即可快速创建解说视频
Narakeet是一个语音合成工具,可以快速创建语音解说视频。它可以将PowerPoint、GoogleSlides或Keynote文稿转换为视频,还可以将文字脚本转换为音频文件。Narakeet提供了多种语言和声音选择,可用于创建培训视频、市场营销视频或作为YouTube视频的旁白。体验地址:https://www.narakeet.com/站长网2023-08-29 11:43:190000微软正式收购动视暴雪 成全球第三大游戏公司
微软日前宣布,在获得英国反垄断监管机构“竞争与市场管理局”(CMA)的批准之后,现已完成687亿美元收购动视暴雪交易。交易完成后,微软将成为世界上营收第三高的游戏公司,仅次于腾讯和索尼。微软Xbox业务主管PhilSpencer对此表示:“我们都热爱游戏。不仅玩游戏,也开发游戏,能够切身体会到游戏对个人、集体和社区意味着什么。今天,我们正式欢迎动视暴雪和他们的团队来到Xbox。”站长网2023-10-14 10:45:500000