击败OpenAI,权重、数据、代码全开源,能完美复现的嵌入模型Nomic Embed来了
模型参数量只有137M,5天就能训练好。
一周前,OpenAI 给广大用户发放福利,在下场修复 GPT-4变懒的问题后,还顺道上新了5个新模型,其中就包括更小且高效的 text-embedding-3-small 嵌入模型。
我们知道,嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使得机器学习模型和其他算法更容易理解内容之间的关联,也更容易执行聚类或检索等任务。可见,嵌入在 NLP 领域是非常重要的。
不过,OpenAI 的嵌入模型并不是免费给大家使用的,比如 text-embedding-3-small 的收费价格是每1k tokens0.00002美元。
现在,比 text-embedding-3-small 更好的嵌入模型来了,并且还不收费。
AI 初创公司 Nomic AI 宣布推出 Nomic Embed,这是首个开源、开放数据、开放权重、开放训练代码、完全可复现和可审核的嵌入模型,上下文长度为8192,在短上下文和长上下文基准测试中击败 OpenAI text-embeding-3-small 和 text-embedding-ada-002。
文本嵌入是现代 NLP 应用程序的一个组成部分,为 LLM 和语义搜索提供了检索增强生成 (RAG)。该技术将有关句子或文档的语义信息编码为低维向量,然后用于下游应用程序,例如用于数据可视化、分类和信息检索的聚类。目前,最流行的长上下文文本嵌入模型是 OpenAI 的 text-embedding-ada-002,它支持8192的上下文长度。不幸的是,Ada 是闭源的,并且训练数据不可审计。
不仅如此,性能最佳的开源长上下文文本嵌入模型(例如 E5-Mistral 和 jina-embeddings-v2-base-en)要么由于模型大小而不适合通用用途,要么无法超越其 OpenAI 对应模型的性能。
Nomic-embed 的发布改变了这一点。该模型的参数量只有137M ,非常便于部署,5天就训练好了。
论文地址:https://static.nomic.ai/reports/2024_Nomic_Embed_Text_Technical_Report.pdf
论文题目:Nomic Embed: Training a Reproducible Long Context Text Embedder
项目地址:https://github.com/nomic-ai/contrastors
如何构建 nomic-embed
现有文本编码器的主要缺点之一是受到序列长度限制,仅限于512个 token。为了训练更长序列的模型,首先要做的就是调整 BERT,使其能够适应长序列长度,该研究的目标序列长度为8192。
训练上下文长度为2048的 BERT
该研究遵循多阶段对比学习 pipeline 来训练 nomic-embed。首先该研究进行 BERT 初始化,由于 bert-base 只能处理最多512个 token 的上下文长度,因此该研究决定训练自己的2048个 token 上下文长度的 BERT——nomic-bert-2048。
受 MosaicBERT 的启发,研究团队对 BERT 的训练流程进行了一些修改,包括:
使用旋转位置嵌入来允许上下文长度外推;
使用 SwiGLU 激活,因为它已被证明可以提高模型性能;
将 dropout 设置为0。
并进行了以下训练优化:
使用 Deepspeed 和 FlashAttention 进行训练;
以 BF16精度进行训练;
将词表(vocab)大小增加到64的倍数;
训练的批大小为4096;
在掩码语言建模过程中,掩码率为30%,而不是15%;
不使用下一句预测目标。
训练时,该研究以最大序列长度2048来训练所有阶段,并在推理时采用动态 NTK 插值来扩展到8192序列长度。
实验
该研究在标准 GLUE 基准上评估了 nomic-bert-2048的质量,发现它的性能与其他 BERT 模型相当,但具有显著更长的上下文长度优势。
nomic-embed 的对比训练
该研究使用 nomic-bert-2048初始化 nomic-embed 的训练。对比数据集由约2.35亿文本对组成,并在收集过程中使用 Nomic Atlas 广泛验证了其质量。
在 MTEB 基准上,nomic-embed 的性能优于 text-embedding-ada-002和 jina-embeddings-v2-base-en。
然而,MTEB 不能评估长上下文任务。因此,该研究在最近发布的 LoCo 基准以及 Jina Long Context 基准上评估了 nomic-embed。
对于 LoCo 基准,该研究按照参数类别以及评估是在监督或无监督设置中执行的分别进行评估。
如下表所示,Nomic Embed 是性能最佳的100M 参数无监督模型。值得注意的是,Nomic Embed 可与7B 参数类别中表现最好的模型以及专门针对 LoCo 基准在监督环境中训练的模型媲美:
在 Jina Long Context 基准上,Nomic Embed 的总体表现也优于 jina-embeddings-v2-base-en,但 Nomic Embed 在此基准测试中的表现并不优于 OpenAI ada-002或 text-embedding-3-small:
总体而言,Nomic Embed 在2/3基准测试中优于 OpenAI Ada-002和 text-embedding-3-small。
该研究表示,使用 Nomic Embed 的最佳选择是 Nomic Embedding API,获得 API 的途径如下所示:
最后是数据访问:为了访问完整数据,该研究向用户提供了 Cloudflare R2(类似 AWS S3的对象存储服务)访问密钥。要获得访问权限,用户需要先创建 Nomic Atlas 帐户并按照 contrastors 存储库中的说明进行操作。
contrastors 地址:https://github.com/nomic-ai/contrastors?tab=readme-ov-file#data-access
华为: HarmonyOS NEXT 鸿蒙星河版第四季度商用
在今日的鸿蒙生态千帆启航仪式上,华为终端云总裁朱勇刚发表了重要演讲。他宣布,为了进一步推动鸿蒙生态的发展,华为将把“耀星计划”的激励金额提高至70亿人民币,以持续激励鸿蒙原生应用、元服务、SDK等生态创新。朱勇刚表示,鸿蒙生态已经进入了第二阶段,华为期望能够携手更多的开发者,共同加速千行百业的应用鸿蒙化。他提到,预计到今年年终,将有5000款应用完成原生鸿蒙开发,未来的目标是支持50万款应用。站长网2024-01-18 17:28:060000格力玫瑰空调上热搜:售价29999元 专为新婚人群设计
站长之家(ChinaZ.com)1月3日消息:近日,格力玫瑰空调因其独特造型和售价引发网友热议。据董明珠透露,这款空调是专为新婚人群设计的。然而,这款专为新婚人群准备的空调售价高达29999元。数据显示,格力玫瑰是一款3匹变频高端立柜式冷暖空调,具备双向流新风换气功能。该款空调采用圆柱空调高端柜机设计,型号为KFR-72LW/(72501)FNhAa-B1,价格为29999元。站长网2024-01-03 16:34:420000超对称联手复旦发布BBT-2通用大模型 可编程、金融、文生图
超对称公司和复旦大学知识工场实验室发布了BBT-2系列通用大模型,包括120亿参数的中文基础模型、130亿参数的中英双语基础模型、经过指令微调的代码模型、金融模型、文生图模型和科学论文模型。其中,代码模型在CSDN的自动编程评测标准上能达到C3,和GPT-3.5处于同一等级“条件自动编程”。BBT-2系列模型即将开源到GitHub、UCloud和官网,开箱可用。站长网2023-04-23 10:13:01000010个人创业:5个做餐饮,3个做自媒体,2个人开网店。
各位村民好,我是村长。这几年就业压力很大,互联网创业又很难拿到钱,身边有不少朋友被逼无奈,只能选择自己创业。前几天,和几个朋友见面聊天的时候,大家聊到就业的情况。有辞职回去开面店的、糕点坊,有自己开淘宝店的,或者是打算做抖音自媒体创业的。大概总结了一下,餐饮店对很多人来说都是首选,然后做自媒体成了大家考虑的范围之一。01可选择性太少我们一起聊了很多,但是得到一个十分残酷的现实。0002AgentTuning:通过多智能体任务调整语言模型
最近,研究人员在GitHub上开源了一个名为AgentTuning的项目。该项目提供了一种新的方法来调整语言模型,通过多个智能体任务中的交互轨迹来训练和调整语言模型,以更好地适应不同的任务和场景。站长网2023-10-26 10:59:340000