元象开源多语言大模型XVERSE-13B 可免费商用
站长网2023-08-07 09:37:450阅
元象XVERSE公司宣布开源其百亿参数的高性能通用大模型XVERSE-13B,可免费商用。
据介绍,XVERSE-13B 是由深圳元象科技自主研发的支持多语言的大语言模型(Large Language Model),基于它生成的服务包括了文本生成、自动化写作、数据分析、知识问答等方面。
主要特点如下:
模型结构:XVERSE-13B 使用主流 Decoder-only 的标准 Transformer 网络结构,支持8K 的上下文长度(Context Length),为同尺寸模型中最长,能满足更长的多轮对话、知识问答与摘要等需求,模型应用场景更广泛。
训练数据:构建了1.4万亿 token 的高质量、多样化的数据对模型进行充分训练,包含中、英、俄、西等40多种语言,通过精细化设置不同类型数据的采样比例,使得中英两种语言表现优异,也能兼顾其他语言效果。
分词:基于 BPE(Byte-Pair Encoding)算法,使用上百 GB 语料训练了一个词表大小为100,278的分词器,能够同时支持多语言,而无需额外扩展词表。
训练框架:经过对算子、通信、并行策略及调度等的优化,千卡集群上的峰值算力利用率达到58.5%,达到业界前列。
项目地址:https://github.com/xverse-ai/XVERSE-13B
0000
评论列表
共(0)条相关推荐
抖音打击侵害人身安全言行行为 11月处置不当言论账号9342个
抖音发布《关于打击侵害人身安全言行的公告》称,严厉打击实施或教唆、鼓动他人实施“网暴”的行为,严禁实施对他人造成伤害的行为,同时,平台呼吁共同关注与保护未成年人与老年人权益,持续打击、处置违规账号。抖音称,2023年11月,平台在日常巡查中发现:0000Anthropic AI 团队研究显示:人工智能倾向于产生迎合用户的奉承性回应而非事实真相
站长之家(ChinaZ.com)10月25日消息:Anthropic是一家美国的人工智能初创企业和公益公司,由OpenAI的前成员创立。Anthropic专注于开发通用AI系统和语言模型,并秉持负责任的AI使用理念。Anthropic开发的Claude2于2023年七月推出。站长网2023-10-25 19:57:390000Uber Eats 的新人工智能聊天机器人将为顾客提供推荐 加快订购速度
站长之家(ChinaZ.com)8月29日消息:据彭博社的一份新报告称,UberEats正在开发一款基于人工智能的聊天机器人,该机器人将向用户提供推荐并为他们提供更快捷的下单方式。站长网2023-08-29 11:21:300000制作人复盘:两个人研发两个月,突然就月入百万了
2023年快到年底,大环境遇冷和降本潮带来的影响还是没有好转的迹象。新品暴毙和收入下滑的大趋势中,不仅中小团队大量被淘汰,大厂体系下,裁员也成了常态。不可避免的,找工作、寻出路已经成为当下最现实的一道难关。前不久我们的话题投票里,能在被裁/失业后快速拿到新Offer的从业者占比为36%站长网2023-11-23 09:51:330000新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
**划重点:**1.🌐DreamSync是由南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队引入的新型人工智能框架,致力于提高扩散型文本到图像(T2I)模型的对齐性和审美吸引力,无需人工标注、模型架构修改或强化学习。站长网2023-12-06 11:03:480000