百度称文心一言完全自主研发 并解读其背后技术原理
近日,百度CTO王海峰在《中国经济大讲堂》节目上表示,文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0,经过近4年研发和迭代,文心大模型已经形成了产业级知识增强大模型技术体系,包括自然语言处理、视觉、跨模态、生物计算、行业大模型,以及支撑大模型应用的工具平台,蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文,还有一些相关技术也已开源开放。
关于 “文心一言”名字由来,王海峰表示,“文”是语言文字,“心”是用心理解,“文心”指致力于理解和运用语言文字的自然语言理解模型,同时也呼应了《文心雕龙》,寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意,也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出,即可“一生二、二生三、三生万言”。
同时,王海峰以老师教学生为例,解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生,记住了很多知识,但需要老师来指导如何运用,而有监督精调就是老师在教学生,将提炼出来的知识要点、典型范例等教给模型,让它知道该如何符合人类规范、习惯和价值观,去执行相应动作,生成相应内容。
文心一言训练了奖励模型,为每次输出的结果打分并给到反馈,进行强化学习,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。
此外,文心一言还融合了不同类型数据和知识,自动构造提示,包括实例、提纲、规范、知识点和思维链等,提供了丰富的参考信息,激发模型相关知识,生成高质量结果。
王海峰最后表示,未来,文心一言这类大语言模型会成为一个通用的赋能平台,金融、能源、媒体、政务等各行各业,都可以基于文心一言实现智能化变革,提高效率,创造巨大的商业价值。
美国联邦航空局否认在系统中使用ChatGPT编写代码
美国联邦航空局(FAA)发表声明,否认在其空中交通运营(ATO)或任何其他系统中使用ChatGPT来编写计算机代码。该声明是在美国交通部发布了人工智能使用清单后匆忙发表的。交通部要求其组织列举所有人工智能使用情况以遵守一项行政命令。站长网2023-07-27 16:44:090000美团正式入股王慧文AI公司光年之外
天眼查App显示,近日,北京光年之外科技有限公司发生工商变更,全资股东由王慧文变更为美团旗下天津三快科技有限公司。据悉,北京光年之外科技有限公司成立于2018年7月,法定代表人为王慧文,注册资本100万人民币,经营范围含技术服务、技术转让、技术开发、技术推广、技术咨询,销售自行开发的产品,计算机系统服务等。6月29日,美团宣布,收购联合创始人王慧文的AI创业公司光年之外。站长网2023-08-07 10:38:210000我用AI卖废料,平台上线两年,成交3亿+美金 | 对话创始人
5月份的一个上午,通过谷歌出海加速器的引荐,我们认识了「再生博士」的创始人兼CEO谭天、以及此前我们从未了解过的全球废料回收行业。用谭天的话来说,这是一个暴利的冷门行业,很少被人关注,极强的信息壁垒让这个行业一直类似于“小农经济”在运行,而他希望借助于AI,把废料回收带入“工业经济”模式,让现在全球只被回收了不到20%的废料,再利用的比例再提升一些(尽可能提升到100%)。站长网2023-06-06 19:07:280001GPT-4太烧钱,微软想甩掉OpenAI?曝出Plan B:千块GPU专训「小模型」,开启必应内测
GPT-4太吃算力,微软被爆内部制定了PlanB,训练更小、成本更低的模型,进而摆脱OpenAI。GPT-4太吃算力,连微软也顶不住了!今年,无数场微软AI大会上,CEO纳德拉台前激动地官宣,将GPT-4、DALL·E3整合到微软「全家桶」。微软全系产品已被OpenAI的模型重塑,愿景是让AI成为每个人的生活伴侣。然而在幕后,因GPT-4运行成本太高,微软却悄悄地搞起了planB。站长网2023-09-27 14:30:470000投资 Hugging Face 的 IBM 启动 5 亿美元企业人工智能风险基金
站长之家(ChinaZ.com)11月8日消息:IBM今日发布新闻稿,宣布正式启动价值5亿美元的风险投资基金,专注于投资一系列人工智能公司,从初创期到高速成长阶段的企业,加速生成式人工智能技术及其在企业中的研究与应用。站长网2023-11-08 09:47:490000