离开OpenAI待业的Karpathy推出大模型新项目minbpe
站长网2024-02-18 14:46:350阅
要点:
1、Karpathy宣布离开OpenAI后不懈努力,推出新项目minbpe,一天内GitHub标星量达到1.2k。
2、minbpe项目旨在为LLM中常用的BPE算法创建干净、教育性的代码。
3、minbpe项目提供了两个Tokenizer,实现训练、编码和解码等主要功能。
最近,Karpathy离开OpenAI后并未放松,快速推出了新项目minbpe。该项目的GitHub标星数量在短短一天内就突破了1.2k,展现出了巨大的关注度和吸引力。这一动态引发了网友们的热烈讨论和期待。
项目地址:https://github.com/karpathy/minbpe
minbpe项目的初衷在于为LLM中广泛使用的BPE算法打造最简洁、最清晰、最具教育性的代码。通过提供两种Tokenizer,minbpe项目实现了对分词器的训练、编码和解码等核心功能。这样的设计不仅提高了代码的可读性,还为用户提供了更便捷、高效的操作体验。
具体来看,minbpe项目存储库中包含了基于类的Tokenizer实现,如BaseTokenizer和BasicTokenizer等。这些类的设计旨在提供训练、编码和解码的基本功能,以及保存和加载等实用功能。此外,RegexTokenizer和GPT4Tokenizer等的实现进一步拓展了项目的功能,为用户提供了更多选择和可能性。
除了代码的实现,Karpathy还表示会很快发布相关的教学视频,进一步帮助用户理解和应用minbpe项目。这种全方位的服务和支持将使项目更具实用性和吸引力,为广大用户带来更多的价值和帮助。相信随着项目的不断发展和完善,minbpe将在人工智能领域发挥重要作用,为行业的进步和发展贡献力量。
0000
评论列表
共(0)条相关推荐
Airbnb 部署 AI 驱动的防聚会系统阻止「高风险」万圣节派对预订
根据政策,Airbnb禁止任何具有干扰性或开放邀请性质的聚集。该平台还禁止对周围社区造成干扰,包括过多的噪音、访客和垃圾。但是在假日周末,这项政策并不能总是阻止不良行为的发生。在美国各地的万圣节庆祝活动即将到来之际,人工智能技术或许能发挥作用。该平台于日前宣布,它正在美国和加拿大部署一个由AI驱动的防聚会系统,以帮助减少假期周末期间干扰性和未授权聚会的风险。站长网2023-10-27 22:14:510000FindSD.art:上传一张图片就能匹配到Civitai里同风格的SD模型
FindSD.art是一个能够根据单张图像,帮助用户发现CivitAI的稳定扩散模型,从而找到最符合其艺术风格的工具。用户只需上传图像,FindSD.art就能根据你上传的图片风格找到Civitai里面类似风格的SD模型。站长网2024-02-27 16:27:350001三星Galaxy Z Fold6折叠屏手机曝光:预计今年7月发布
据可靠消息,三星公司计划在今年7月提前发布其最新的折叠屏手机GalaxyZFold6。据悉,这款新手机将有多个重大改进,包括更薄、更宽、更轻、更快、更易修复和更耐用等特点。此前有报道称,三星GalaxyZFold6将会配备与GalaxyS24Ultra相同的主摄像头,并升级到2亿像素。然而,这一信息尚未得到确认。站长网2024-02-17 19:56:500000京东宣布推出京东保 京东PLUS会员可享8.8折福利
京东宣布推出京东保,京东保是京东集团旗下保险经纪平台京东保险经纪(天津)有限公司的官方品牌。据介绍,京东保与国内外知名保险公司在电商、健康、出行、养老等场景中合作,为客户提供高品质的保险服务。用户可以在京东App上搜索“京东保”或“买保险来京东”等关键词,进入京东保品牌展示页面。站长网2023-12-04 16:57:090000靠性科普单月小红书涨粉90万,为什么在笔记里带上#宝宝辅食#?
科普性知识的“公主是用鲜花做的”,在小红书火了。她的内容专为女生而定制,教女生如何正确认知和理解“性”这件事,分享各种恋爱观点。新红数据显示,“公主是用鲜花做的”小红书账号一个月涨粉超过90万。有意思的是,她的视频文案中除了#女性#、#情感#、#恋爱#等相关标签外,还打上了#宝宝辅食#这个看似没有任何关联的标签。站长网2023-08-10 10:32:210000