Together AI发布AI模型StripedHyena-7B 性能超越Llama-27B
划重点:
1. 🌐 StripedHyena-7B引领人工智能领域,提供计算效率和性能升级的替代选择。
2. 🚀 采用独特混合结构,StripedHyena在训练、微调和生成长序列时表现出色。
3. 💡 未来研究重点:构建更大的模型、引入多模态支持、提高StripedHyena模型的性能。
Together AI最新发布了StripedHyena-7B,这一人工智能模型领域的创新力量引起了广泛关注。该模型的基础版本为StripedHyena-Hessian-7B(SH7B),同时还推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年创建的一系列有效的序列建模架构(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要经验教训。
研究人员强调,StripedHyena在训练、微调和生成长序列过程中处理效率更高,具备更快的速度和更高的内存效率。通过采用独特的混合技术,StripedHyena将门控卷积和注意力结合成了所谓的Hyena运算符。在短序列任务中,包括OpenLLM排行榜任务,StripedHyena在性能上超越了Llama-27B、Yi7B以及最强大的Transformer替代品,如RWKV14B。
该模型在处理短序列任务和处理长提示的各种基准测试中都进行了评估。通过对Project Gutenberg书籍进行的困惑度缩放实验显示,困惑度在32k处饱和,或在此点以下减少,表明该模型能够从更长的提示中吸收信息。
StripedHyena通过将注意力和门控卷积组合成Hyena运算符的独特混合结构实现了高效性。研究人员采用创新的嫁接技术对这种混合设计进行了优化,使其在训练过程中能够进行体系结构修改。
研究人员强调StripedHyena的关键优势之一是其在训练、微调和生成长序列等各种任务中的提速和内存效率。在端到端训练的32k、64k和128k行上,StripedHyena相对于优化的Transformer基线(使用FlashAttention v2和自定义内核)分别提高了30%、50%和100%。
未来,研究人员希望在StripedHyena模型的多个领域取得重大进展。他们计划构建更大的模型,以处理更长的上下文,拓展信息理解的界限。此外,他们计划引入多模态支持,通过允许模型处理和理解来自文本和图像等各种来源的数据,提高模型的适应性。
StripedHyena模型有望通过引入额外的计算(例如在门控卷积中使用多个头部)在性能上超越Transformer模型。这种受线性注意力启发的方法在H3和MultiHyena等架构中被证明在训练期间提高模型质量,并为推断效率提供优势。读者可以查看该项目的博客和项目详细信息,对此研究给予所有研究人员应有的赞誉。
项目网址:https://huggingface.co/togethercomputer/StripedHyena-Hessian-7B
博客:https://www.together.ai/blog/stripedhyena-7b
Kognitos发布生成式AI支持的业务自动化服务
Kognitos今天宣布了其新的自助式方法,使组织能够利用生成AI进行业务流程自动化。Kognitos一直在建立一个平台,允许组织使用自然人类语言来定义和启用BPA。这是该公司上个月在VBTransform活动上详细介绍的一种方法。这项新的提供,自助式生成AI适用于卓越中心和财务组织,扩展了该公司的平台,也是AI初创公司首次提供自助式服务,因为Kognitos旨在使商业用户更容易启用自动化。站长网2023-08-09 10:55:260000微软发布Windows Copilot 并宣布将Bing引入ChatGPT
在昨日晚间的微软Build年度开发者大会上,微软宣布,将新的Bing引入ChatGPT,ChatGPT将拥有内置搜索引擎,可通过网络访问提供更及时、更新的答案,ChatGPT答案可以基于搜索和网络数据并包含引用。今日起,上述功能将面向ChatGPTPlus订阅者推出,免费用户只需启用一个将Bing引入ChatGPT的插件即可使用。站长网2023-05-24 08:29:340000OpenAI招募专家加入“红队”网络,加强AI模型安全性
文章概要:1.OpenAI宣布了一项公开招募专家的计划,旨在邀请跨领域的专家加入OpenAI“红队”网络,以提高其人工智能模型的安全性。2.“红队”网络是OpenAI的迭代开发过程的一部分,包括内部和外部对抗性测试,旨在加深与外部专家的合作,确保模型安全。站长网2023-09-20 09:48:090000昆仑万维“天工”大模型正式向全社会开放
昆仑万维集团今日宣布,其研发的天工大模型已经通过了《生成式人工智能服务管理暂行办法》的备案,并正式向全社会开放服务。用户可以通过官方App或官网(www.tiangong.cn)直接注册使用。站长网2023-11-04 15:14:590000年终盘点丨直播带货2023:主播、平台,谁才是超级IP?
2023年接近尾声,掀起直播带货行业年末最后一波高潮的东方甄选“小作文”事件也终于告一段落。董宇辉选择继续与东方甄选牵手,前者既守着了读书人的坚持,也成为了新东方教育科技集团董事长文化助理,兼任新东方文旅集团副总裁,后者股价涨幅扩大至20%,市值重回300亿港元,一场纷争最终由双赢的结果定音。站长网2023-12-19 17:16:020000