SOLAR10.7B大模型屠榜HuggingFace 创新性拼接两个羊驼,高效集成
站长网2023-12-29 14:31:250阅
深度学习领域的新技术近日在HuggingFace的大模型排行榜中崭露头角,由Upstage AI提出的深度扩展方法(DUS)在SOLAR10.7B大模型上取得了令人瞩目的成绩。该技术通过创新性地拼接两个7B羊驼,并采用DUS方法删除中间层次,使得新模型不仅超越了传统扩展方法如MoE,还能与基础大模型相同的基础设施高效集成。
论文地址:https://arxiv.org/pdf/2312.15166.pdf
在技术实现方面,DUS技术通过巧妙选择Mistral7B作为底材,实现了对原版和MoE版的超越。团队深入权衡性能与模型尺寸,在拼接方式上选择性删除层次,经过继续预训练,模型性能得以迅速恢复。对齐的Instruct版本也在技术实践中取得了显著的进展。
为保障数据安全,团队回应了网友对测试数据泄露的质疑,提供了数据污染测试结果,并显示出低水平的可能性。而SOLAR10.7B基础模型和微调模型以Apache2.0协议开源,得到了科研社区的广泛关注。
在用户反馈方面,试用者对该技术在从JSON格式数据中提取数据的表现表示满意。这一实际应用的反馈证明了该技术在处理实际数据时的优越性。
0000
评论列表
共(0)条相关推荐
IDC 研究:企业AI投资取得巨大回报,达250%
划重点:📊调查显示企业对AI投资信心高涨,平均回报率为3.5倍,投资回报达250%。🌐报告表明,AI投资在企业中呈现出新的发展动力,主要受到对生成式AI的价值和兴奋情绪的驱动。💼企业为了投资AI,纷纷减少对其他领域的支出,提前实施AI项目,生成式AI引领了AI领域的发展潮流。站长网2023-11-03 10:10:540000奥特曼挖走iPhone设计师 联手打造AI移动设备
要点:苹果设计副总裁TangTan将加入OpenAI与JonyIve的LoveFrom公司,合作研发一款能替代智能手机的新型移动设备,寻求软银超10亿美元投资。合作项目由LoveFrom设计、OpenAI提供软件支持,可能得到软银硬件支持。计划成立新公司,产品开发仍在早期阶段,关注招聘和概念创造。站长网2023-12-29 14:36:010000微软正式收购动视暴雪 成全球第三大游戏公司
微软日前宣布,在获得英国反垄断监管机构“竞争与市场管理局”(CMA)的批准之后,现已完成687亿美元收购动视暴雪交易。交易完成后,微软将成为世界上营收第三高的游戏公司,仅次于腾讯和索尼。微软Xbox业务主管PhilSpencer对此表示:“我们都热爱游戏。不仅玩游戏,也开发游戏,能够切身体会到游戏对个人、集体和社区意味着什么。今天,我们正式欢迎动视暴雪和他们的团队来到Xbox。”站长网2023-10-14 10:45:500000AI视野:北京首批5款AI大模型产品正式开放;文心一言登顶Apple Store免费推荐榜
北京首批5款AI大模型产品正式通过备案上线北京首批5款AI大模型产品正式通过备案上线,标志我国自主研发的大型语言模型进入商业化应用新阶段。要点:北京首批5家企业的大模型产品已通过备案,8月31日起将正式面向公众开放服务。首批备案通过的产品包括百度文心一言、字节抖音云雀、百川大模型、质谱清言、紫东太初等在内的5款大模型。站长网2023-08-31 15:16:220000AI生成系统CityDreamer:可创建无限的 3D 城市街景
文章概要:1.CityDreamer是一种生成式AI模型,可以创建无限的3D城市环境。2.通过将建筑实例生成与其他背景对象分离,可以更好地处理建筑多样性。3.使用真实城市数据集训练,可以增强生成结果的真实性。相比生成自然场景,用AI创建城市更复杂,因为可以更容易察觉结构失真。CityDreamer是一种生成式AI系统,专门用于创建开放式的、无边界的3D城市环境。站长网2023-09-06 17:36:020001