苹果研究团队揭示WRAP技术:用合成数据进行预训练大模型 成本低准确性高
**划重点:**
1. 🔄 **预训练效率提升:** WRAP应用于嘈杂的C4数据集,预训练速度提高了近三倍,显著降低了LLM训练的高昂成本和时间投入。
2. 🚀 **模型性能提升:** WRAP在相同计算预算下使模型性能更出色,通过使用Pile的不同子集,减少了超过10%的歧义,并在13种不同活动的零-shot问题回答准确性上提高了超过2%。
3. 📝 **重新构造网络文档:** WRAP使用中等规模的LLM对网络文档进行改写,以多种风格呈现。
近几个月来,大型语言模型(LLMs)在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。
然而,LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构,表达不清晰。按照现有的扩展原则,即随着模型规模的增加,计算能力和数据量也应该成比例增加,这带来了挑战。
困扰研究人员的主要问题有两个。首先,预训练涉及显着的计算成本和时间。其次,互联网上高质量数据的稀缺性问题迫在眉睫。在最新的研究中,来自苹果和卡内基梅隆大学的研究团队通过引入Web Rephrase Augmented Pre-training(WRAP)的概念,解决了这些问题。
WRAP是一种创新方法,利用已存在的、经过指令调整的LLM。这个LLM用于将在线页面改写成特定风格,包括模仿维基百科的语气或将文本转换为问答格式。WRAP的主要目标是通过添加真实和人工改写的数据来提高LLMs的预训练效果。
图源备注:图片由AI生成,图片授权服务商Midjourney
WRAP的主要特点包括:
- **预训练效率:** 将WRAP应用于嘈杂的C4数据集,显著加快了预训练速度,约为三倍。这种效果对于减少与LLM训练通常相关的高昂费用和时间投入至关重要。
- **模型性能提升:** WRAP在相同的计算预算下使模型性能更出色。使用Pile的不同子集减少了超过10%的歧义,提高了13种不同活动的零-shot问题回答准确性超过2%。
- **网络文档改写:** WRAP使用中等规模的LLM对网络文档进行改写,呈现多种风格。这种方法不同于创建新数据,而是通过改进已有内容,保持原始信息的质量和多样性。
WRAP生成的合成数据有两个主要好处。首先,它包含反映应用中使用的语言多样性的各种风格。有了这种多样性,LLM更好地为更广泛的实际事件做好准备。其次,WRAP改写的合成数据比原始网络抓取的数据质量更高。这种质量的提升源于语言更有序、更连贯,从而促进更有效的模型学习。
WRAP是LLM预训练领域的一项重大进展。通过使用高质量、不同风格的合成数据,WRAP不仅加速了训练过程,还提高了LLMs的整体性能。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性,这种方法提供了一种可能的前进方式。
论文网址:https://arxiv.org/abs/2401.16380
iPhone16或调整相机岛设计 或新增拍照按钮
科技媒体MacRumors发布了关于苹果iPhone16标准版机型的信息。目前,该标准版的设计开发工作仍处于早期阶段,工程师将其命名为“DeLorean”,这意味着最终零售版可能与目前的设计有所出入。0000韩国三星、Kakao和Naver纷纷布局医疗领域生成式AI市场
随着生成式AI在医疗领域的不断发展,大型IT公司如三星、Kakao和Naver相继推出了面向医疗领域的生成式AI系统。生成式AI旨在根据用户的具体需求生成各种内容,包括小说、诗歌、图像、视频、编程和艺术,通过从数据源中学习实现这一目标。其中一个典型的例子就是ChatGPT,它通过简单提出问题即可提供详细答案。站长网2023-10-18 21:20:100000《元梦之星》再登央视,年轻人们都在“小小元宇宙”里过元宵
2月24日,央视元宵晚会又一年引国人天南海北共“赏”佳节。在精彩纷呈的歌舞节目与彩灯流转的舞台视效间,娱乐独角兽注意到,今年的猜灯谜环节与以往格外不同,是在《元梦之星》的数字化场景里落地呈现的。站长网2024-02-25 15:36:420000离谱但有热度,反季穿搭内容缘何而起?
最近,各个平台出现了一个不太寻常的内容趋势。当下虽然是酷暑,但一些有关秋冬的内容却热度高涨,这在穿搭领域尤为明显。在抖音“早秋甜美感卫衣分享”这一话题不仅登上种草榜,其热度还超过了“夏日短裙开箱来喽”、“简约又性感的辣妹穿搭”等夏季穿搭热点。而在小红书,“5G入秋”这一话题相关笔记数量高达42万,话题浏览量达到8.9亿,众多穿搭博主纷纷晒出自己的秋冬搭配。站长网2023-08-03 20:44:500000研究人员发布Starling-7B:基于AI反馈的大语言模型 媲美GPT-3.5
**划重点:**1.🚀**RLAIF技术介绍:**Starling-7B采用了基于AI反馈的强化学习(RLAIF),通过优化Openchat3.5和Mistral-7B而成。2.📊**性能卓越:**在MT-Bench和AlpacaEval两项基准测试中,Starling-7B表现出色,对比其他模型的性能提升引人瞩目。站长网2023-11-29 11:22:540000