中文大模型比英文更烧钱,这居然是AI底层原理决定的?
ChatGPT等AI工具的使用正越来越普遍。在与AI交互时,我们知道,输入的提示词差异会对输出结果产生影响。那么,如果相同意思的提示词,用不同语言分别表述,结果差异是否较大?另外,提示词的输入和输出是和模型背后的计算量直接挂钩的。因此,不同语言之间在AI输出和成本消耗方面是不是有着天然的差异性或者说是“不公平性”?这种“不公平性”又是如何产生的呢?
据了解,提示词背后其实对应的不是文字,而是token。当接收到用户输入的提示词之后,模型会将输入转换为token列表进行处理和预测,同时将预测的token转换为我们在输出中看到的单词。也就是,token是语言模型处理和生成文本或代码的基本单位。可以关注到,各家厂商会宣称自家模型支持多少token的上下文,而不是说支持的单词或汉字的数量。
影响Token计算的因素
首先,一个token并不对应一个英文单词或一个汉字,token跟单词之间没有具体的换算关系。比如,根据OpenAI发布的token计算工具,hamburger一词被分解为ham、bur和ger,共计 3 个token。另外,同一个词语,如果在两句话中的结构不同,会被记作不同数目的token。
具体token如何计算主要取决于厂商使用的标记化(tokenization)方法。标记化是将输入和输出文本拆分为可由语言模型处理的token的过程。该过程可以帮助模型处理不同的语言、词汇表和格式。而ChatGPT背后采用的是一种称为“字节对编码”(Byte-Pair Encoding,BPE)的标记化方法。
目前来看,一个单词被分解成多少token,跟它的发音和在句子中的结构有关。而不同语言之间的计算差异似乎较大。
拿“hamburger”对应的中文“汉堡包”来说,这三个汉字被计作 8 个token,也就是被分解成了 8 部分。
再拿一段话来进行中英文语言token计算的“不公平性”对比。
下面是OpenAI官网的一句话:You can use the tool below to understand how a piece of text would be tokenized by the API, and the total count of tokens in that piece of text.这段话共计 33 个token。
对应的中文为:您可以使用下面的工具来理解API如何将一段文本标记化,以及该段文本中标记的总数。共计76token。
中英文语言在AI上存在天然“不公平”
可以看到,相同意思的中文token数是英文的两倍多。中文和英文在训练和推理上的“不公平性”,也许是因为中文通常一个词汇可以表达多种含义,语言组成较为灵活,中文还有着深厚的文化内涵,具有丰富的语境意义,这极大增加了语言的歧义性和处理难度;英语语法结构较为简单,这使得英语在一些自然语言任务上比中文更容易被处理和理解。
中文需要处理的token更多,模型所消耗的内存和计算资源也就越多,当然所需要的成本也就越大。
同时,ChatGPT虽然可以识别包括中文在内的多种语言,但它训练使用的数据集大都为英文文本,在处理非英语语言时,可能面临语言结构、语法等方面的挑战,进而影响输出效果。近日的一篇题为《多语言语言模型在英语中表现得更好吗?》(Do Multilingual Language Models Think Better in English?)的论文中提到,当将非英文语言翻译成英文后输出的结果,要好于直接使用非英文语言作为提示词的结果。
对中文用户来说,似乎先将中文翻译成英文,然后再与AI交互,似乎效果更好,也更划算。毕竟使用OpenAI的GPT- 4 模型API,每输入 1 千token至少要收费0. 03 美元。
那由于中文语言的复杂性,AI模型在使用中文数据进行准确训练和推理方面可能面临挑战,并增加了中文模型应用和维护的难度。同时,对开发大模型的公司来说,做中文大模型由于需要额外的资源,或许要承担更大的成本。
英伟达投资与谷歌相关的生成式 AI 初创公司 Cohere:专注于企业市场
专注于企业的生成人工智能初创公司Cohere在C轮风险投资中筹集了2.7亿美元,其中包括AI巨头英伟达作为投资者。站长网2023-06-09 23:45:290000汉王科技:将在AI上不断加强植入 积极关注生成式绘画工具
近日,汉王科技表示,根据公司现有的规划,不会在通用大模型上竞争,会集中精力在行业应用类模型上,发挥对行业数据的理解、对行业背景知识的理解等优势,在行业领域生根。另外,还会在针对特定的专用模型,如教育类专用模型上,公司有自己的思路,希望通过对不同学科叠加递进的学习与训练,打造出中等规模参数、小算力的专用优化模型。站长网2023-05-08 08:50:380000NatWest和IBM合作推出生成式AI计划,提升客户体验
划重点:-NatWest和IBM合作改进虚拟助手Cora,通过对话互动提供更多信息的生成式AI功能-这是NatWest广泛采用生成式AI的一部分,借助IBM的企业级AI平台watsonx-Cora将提供个性化、对话式的复杂客户查询响应,使客户可以更自然地比较产品和获取相关信息站长网2023-11-06 15:48:430000中国互联网协会重申:我国人工智能已进入全球第一梯队
AI人工智能正在被越来越多的国家重视和发展,这也被寄希望是新一轮的科技革命。中国互联网协会副理事长黄澄清在GPT产业联盟成立大会上”表示,近年来我国人工智能产业在技术创新,产业生态融合应用等方面也取得了积极的进展,已经进入了全球第一梯队。黄澄清指出,随着人工智能技术的普及和应用,我们需要思考如何保护个人隐私和数据安全,以及如何应对人工智能技术可能带来的就业变革和社会影响的问题。0000老人为短剧一个月充值4万元:多个小程序无故下线、退费难
快科技3月8日消息,据媒体报道,短剧春节档最高日消耗破亿,总票房预估8亿元,但疯狂吸金的背后依然乱象丛生。家住成都的CC表示,自己在偶然帮妈妈处理手机问题时发现微信中有很多笔短视频小程序的支付记录,金额大部分在9.9元、19.9元、39.9元不等,有少数几笔是129元的。0000