LLaMA都在用的开源数据集惨遭下架:包含近20万本书,对标OpenAI数据集
开源数据集因侵权问题,惨遭下架。
如LLaMA、GPT-J等,都用它训练过。
如今,托管了它3年的网站,一夜之间删除了所有相关内容。
这就是Books3,一个由将近20万本图书组成的数据集,大小将近37GB。
丹麦一家反盗版组织表示,在该数据集中发现了150本其成员的书籍,构成侵权,所以要求平台下架。
现在该平台上的Books3网页链接已经“404”。
数据集的最初开发者无奈表示,Books3的下架是开源圈的一场悲剧。
Books3是什么?
Books3在2020年发布,由AI开发者Shawn Presser上传,被收录在Eleuther AI的开源数据集Pile中。
它总计包含197000本书,包含来自盗版网站Bibliotik的所有书籍,意在对标OpenAI的数据集,但主打开源。
这也是Books3名字的来源之处——
GPT-3发布后,官方披露其训练数据集中15%的内容来自两个名为“Books1”、“Books2”的电子图书语料库,不过具体内容一直没有被透露。
开源的Books3则给更多项目提供了一个和OpenAI竞争的机会。
比如今年爆火的LLaMA、以及Eleuther AI的GPT-J等,都用上了Books3.
要知道,图书数据一直是大模型预训练中核心的语料素材,它能为模型输出高质量长文本提供参考。
很多AI巨头使用的图书数据集都是不开源,甚至是非常神秘的。比如Books1/2,关于其来源、规模的了解,更多都是各界猜测。由此,开源数据集对于AI圈内相当重要。
为了更方便获取,Books3被放到了The Eye上托管。这是一个可以存档信息、提取公开数据的平台。
而这一次惨遭下架,说的也是这一平台。
丹麦反盗版组织权利联盟向The Eye提出了下架请求,并且通过了。
不过好消息是,Books3并没有完全消失,还是有其他办法获取的。
Wayback Machine上还有备份,或者可以从Torrent客户端下载。
作者老哥在推特上给出了多个方法。
“没有Books3就没法做自己的ChatGPT”
实际上,对于这次下架风波,数据集作者老哥有很多话想说。
他谈到,想要做出像ChatGPT一样的模型,唯一的方法就是创建像Books3这样的数据集。
每一个盈利性质的公司都在秘密做数据集,如果没有Books3,就意味着只有OpenAI等科技巨头才能访问这些图书数据,由此你将无法做出自己的ChatGPT。
在作者看来,ChatGPT就像是90年代的个人网站一样,任何人都能做是很关键的。
不过由于Books3很大一部分数据来自于盗版网站,所以作者也表示,希望之后能有人做出来比Books3更好的数据集,不仅提升数据质量,而且尊重书籍版权。
这种类似的情况在OpenAI也有发生。
一个多月以前,两位全职作者以未经允许擅自将作品用来训练ChatGPT,起诉了OpenAI。
而之所以会发生这种情况,很有可能是OpenAI的数据集Books2从影子图书馆(盗版网站)中获取了大量数据。
所以也有声音调侃说,AI不仅带来了新的技术突破,也给反盗版组织带来了新任务。
参考链接:
[1]https://www.theatlantic.com/technology/archive/2023/08/books3-ai-meta-llama-pirated-books/675063/
[2]https://gizmodo.com/anti-piracy-group-takes-ai-training-dataset-books3-off-1850743763
[3]https://interestingengineering.com/innovation/anti-piracy-group-shuts-down-books3-a-popular-dataset-for-ai-models
[4]https://torrentfreak.com/anti-piracy-group-takes-prominent-ai-training-dataset-books3-offline-230816/
—完—
欧盟扩大对AI初创公司的支持,提供超级计算机进行模型训练
划重点:-欧盟计划通过提供超级计算机的处理能力,支持本土AI初创公司进行模型训练。-这一计划的早期试点阶段已经有法国的MistralAI参与。-该计划需要为AI初创公司提供专门的支持,帮助他们更好地利用欧盟的高性能计算资源。欧盟计划通过提供超级计算机的处理能力,支持本土AI初创公司进行模型训练。该计划于去年9月宣布,并于上个月开始实施。0000印度政府批准投入130亿元 用于AI、网络安全发展
本文概要:1.印度政府计划投资1,490.3亿卢比(约合130.7亿人民币)用于人工智能、网络安全和数字技能的发展。2.政府将建立三个卓越中心,推动人工智能研究和创新,重点关注医疗、农业和可持续城市发展。3.印度计划在国家超级计算机任务下增加九台超级计算机,用于人工智能建模和天气预报。站长网2023-08-19 15:28:200000OpenAI 承认ChatGPT变懒惰,用户抱怨增加,正在研究修复方案
要点1、OpenAI的官方ChatGPT账号收到了用户关于GPT-4变懒的反馈,正在研究修复这个问题。2、外界猜测OpenAI可能为了节省算力资源和减少非法内容输出而限制了GPT-4的功能。3、用户在社交平台分享了ChatGPT变懒的证据,验证了OpenAI正在测试新的推理方法的可能性。站长网2023-12-10 10:18:200000大模型伪装「潜伏特工」学会欺骗!OpenAI劲敌重磅研究震惊马斯克
最近,Anthropic的研究者发现:一旦我们教会LLM学会骗人,就很难纠正它了。它会在训练过程中表现得「人畜无害」,随后神不知鬼不觉地输出恶意代码!如果想要纠正它,它的欺骗行为只会更变本加厉。不要教LLM学会骗人!不要教LLM学会骗人!不要教LLM学会骗人!因为后果可能会很严重,甚至超出人类的想象。站长网2024-01-16 07:01:320000中国电信与科大讯飞合作 将在多模态大模型等领域展开技术研发
据科创板日报消息,中国电信与科大讯飞签署了战略合作协议。双方此次合作旨在进一步探索5G、人工智能、云计算等新一代信息技术的创新应用与发展。未来,双方将在多模态大模型、智算网络、云计算、人工智能应用、泛智能终端等领域展开技术研发和业务合作,共同打造具有国际竞争力的重点产品和服务。站长网2023-08-09 10:55:260000