Stability AI 开源聊天机器人 Stable Chat 采用新的「解释微调」技术
站长之家(ChinaZ.com) 8月30日消息:Stability AI 是图像生成 AIStable Diffusion 的开发商,其最近推出了开放访问的语言模型 Stable Beluga 的基于 Web 的聊天界面 Stable Chat。在发布时,Stable Beluga 是 HuggingFace 排行榜上表现最好的开放大型语言模型(LLM)。
Stable Beluga 基于 Meta 发布的 LLaMA 基础模型,并使用由 GPT-4 生成的合成数据集进行微调。最大的Stable Beluga 模型包含 70B 个参数,在多个基准测试中优于 ChatGPT,包括 AGIEval,该测试基于 LSAT 和 SAT 等常见考试。为了帮助评估Stable Beluga,Stability AI 创建了Stable Chat Web 界面来帮助用户与模型交互并对其输出提供反馈。根据 Stability AI:
作为我们在构建世界上最值得信赖的语言模型方面所做努力中一部分,我们已经设置了一个仅用于研究目的网站来测试和改进我们技术。随着我们研究迅速进展,我们将继续更新新模型。请避免将此网站用于实际应用或商业用途。
Stable Beluga 模型受到微软关于 Orca 论文启发而产生,该论文介绍了一种称为解释微调(explanation tuning)的技术。像指导微调(instruction tuning)一样,最近许多开放 LLM 都使用了这种技术,包括 ChatGPT 和 Vicuna。
解释微调使用由教师生成的示例输入和期望模型输出的数据集。在 ChatGPT 的情况下,教师是实际使用该模型的人类用户。相比之下,在 Orca 和 Stable Beluga 中,解释微调数据集是通过提示 GPT-4 解释为什么会生成它所做出的输出来生成的内容。
Stability AI 创建了自己的 600,000 个示例组成的解释微调数据集——只有微软数据集大小十分之一。然后他们训练了两个版本 Stable Beluga:基于 65B 参数原始 LLaMA 模型的 Stable Beluga 1 和基于 70B Llama 2 模型的 Stable Beluga 2。两者均以非商业许可证发布。尽管这些模型在发布时在排行榜上取得第四名和第一名,但目前基于 LLaMA 进行微调模型已经推动 Stable Beluga 2 退出前十名,并将 Stable Beluga 1 甩到更低位置。
根据 Stability AI 公司表示,这些模型以非商业许可证发布旨在鼓励研究人员协作迭代并改进技术。然而,该公司指出,这需要超出普通研究人员的资源,并决定创建 Stable Chat 网站。用户可以创建免费登录或使用 Google 帐户访问聊天界面。模型的响应可以被投票、反对或标记;这些用户反馈将用于未来改进模型。
另外,Stability AI 最近还宣布他们的 LLM 将在 DEF CON 31 举办的 AI 红队活动中使用。此次活动由白宫赞助,涵盖了「Anthropic, 谷歌, Hugging Face, 微软, 英伟达, OpenAI 和 Stability AI」,目标是帮助识别模型中的风险和漏洞。
访问 Stable Chat:
https://research.stability.ai/chat
混战中的机会:本地生活服务商如何突围
2024年的本地生活可能会呈现出一种分层竞争的态势。一方面,两个头部平台抖音生活服务和美团的竞争,大概率会从供给规模之争蔓延到经营之争。原因是,两家经调整后的组织结构都更聚焦,更注重商业化效率。另一方面,小红书、视频号正在以差异化的方式入场,快手据说也在大规模引入服务商。一般来讲,行业发展到新阶段,核心平台战略调整之时,也是服务商能力结构变化或者整个服务商生态都迎来改变的时候。0000Llama 2 如何成为 IBM 战略的核心:具备潜在成功的所有要素
IBM最近宣布将在watsonx.ai托管Meta的Llama2-chat700亿参数模型,并向选择的客户和合作伙伴提供早期访问权限。企业现在正在采用生成式人工智能的趋势来增强他们的业务战略。为了有效利用其潜力,他们需要简化的方法来训练和构建自己的LLM,利用他们多年积累的数据。为了解决这个挑战,包括AWS和Azure在内的各种云服务提供商已加紧提供帮助。站长网2023-08-14 18:15:560000大模型应用,必须警惕“速成幻觉”
我们知道,大模型会编造不正确的答案,产生“幻觉”。其实,在应用层面,还存在一个更隐蔽的“幻觉”,就是创业公司忽略了大模型落地所需要的长周期、重基建和工程化难度,带来的“速成幻觉”。随着“百模大战”拉开序幕,大模型过剩带来的市场挤压,也给整个大模型生态带来了行业洗牌的风险。越来越多的人有了共识,基础通用大模型竞争激烈,注定是少数人的游戏。创业公司随时可能倒掉,造成项目烂尾。站长网2023-07-26 12:18:340000刘作虎:友商应该庆幸 一加还没做2000元以下手机
快科技12月4日消息,今晚举办的一加十周年围炉夜话”活动中称,刘作虎发话:友商应该庆幸一加没有做2000元以下的产品。他补充道:未来一加不排除会做2000以下的产品,如果大家需要的话。笔者查阅发现,目前一加(OPPO)商城在售的一加手机只有一款低于2000元,它就是一加Ace竞速版,最低到手价1399元。站长网2023-12-04 22:04:210000Canalys:预计2023年全球智能手机市场出货量下滑收窄至5%
科技市场独立分析机构Canalys表示,2022年全球智能手机市场经历大幅下滑12%后,2023年市场呈现初步的复苏迹象。尽管预计2023年出货量仍下降5%,但下跌趋势已有所放缓。今年,中东、非洲和拉丁美洲等地区将重拾增长,增幅分别为9%、3%和2%。站长网2023-11-27 10:15:440000