微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
近日,微软推出了一款名为Phi-3系列的小型AI模型,该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型,仅拥有3.8B参数,却在多项基准测试中超越了拥有8B参数的Llama3模型。
微软特别强调,经过4bit量化处理的Phi-3-mini能够在iPhone14Pro和iPhone15使用的苹果A16芯片上实现每秒12token的运行速度,这标志着手机上能本地运行的最佳开源模型已经达到了ChatGPT的水平。
微软在技术报告中展示了Phi-3系列的多项优势。除了Phi-3-mini之外,还有Phi-3-small和Phi-3-medium两个版本,分别拥有7B和14B参数。Phi-3-small支持多语言,并使用了tiktoken分词器以及增加了10%多语种数据。而Phi-3-medium在更多数据上进行了训练,已在多数测试中超越了GPT-3.5和Mixtral8x7b MoE。
Phi-3系列的成功得益于其独特的训练方法。微软团队发现,仅仅增加参数量并不是提升模型性能的唯一途径。他们通过精心设计训练数据,特别是利用大型语言模型生成合成数据,并结合严格筛选的高质量数据,显著提升了中小模型的性能。Phi-3系列的训练数据量巨大,其中Phi-3-medium使用了高达4.8万亿token的数据,并通过独特的指令微调和RLHF训练,提高了模型的对话能力和安全性。
尽管如此,小型模型在存储事实和知识方面仍有局限,这从TriviaQA测试的低分中可见一斑。微软提出,通过联网接入搜索引擎可以缓解这一问题。微软研究院团队表示,他们将继续沿着小模型和数据工程的道路前进,并计划增强小模型的多语言能力和安全性。
微软的这一举措在开源社区中引起了热烈讨论,许多网友认为这给OpenAI带来了压力,需要OpenAI尽快推出GPT-3.5的后继产品以维持其在AI领域的领先地位。
论文地址:https://arxiv.org/pdf/2404.14219.pdf
亚马逊生成式 AI 增强语音助手:通过 Alexa LLM 改善智能家居的大脑
站长之家(ChinaZ.com)9月21日消息:亚马逊的Alexa即将迎来革命性变革,而其新面貌可能非常引人注目。在周三的秋季硬件发布活动中,该公司揭示了由其全新Alexa语言模型提供支持的全新Alexa语音助手。根据亚马逊设备与服务部门的现任高级副总裁DaveLimp所说,这个新的Alexa能够理解对话短语并做出恰当回应,更有效地解释上下文,并完成多个请求。站长网2023-09-21 09:41:540000亚马逊Alexa部门面临裁员 公司将重点发展新形式AI
据公司周五的一份内部备忘录透露,亚马逊将裁减数百个Alexa部门的职位,这是公司进行更大范围业务重组的一部分,未来将更专注于开发新形式的人工智能技术。备忘录显示,此举是为了最大限度地利用公司在生成式人工智能方面的资源和努力。裁员将导致Alexa和FireTV部门数百个职位被裁。站长网2023-11-18 13:47:340001华为 HarmonyOS 现已稳居第三大手机操作系统
在手机市场上,主要有两大操作系统,Android和iOS。尽管Tizen、KaiOS等其他系统也尝试过,但它们并没有在市场上产生太大影响。现在看来,在手机操作系统方面,市场上出现了第三股势力。站长网2023-05-23 11:12:350000模型未发API先至!Stable Diffusion 3 API 发布 性能比肩 Midjourney v6
StabilityAI最近宣布了一个激动人心的消息:其开发者平台API现已支持最新版本的StableDiffusion3(SD3)及其增强版本StableDiffusion3Turbo。这一发布标志着StabilityAI在文字到图像生成领域的技术进步,其性能已经达到甚至超越了行业内的一些领先模型,如DALL-E3和Midjourneyv6。站长网2024-04-19 01:36:080000华纳音乐正在制作伊迪丝·琵雅芙人工智能生成的传记片:让她为自己配音
在爱迪丝·皮雅芙逝世六十年后,人工智能将重现她的声音,为她的传记片进行旁白解说。据《综艺》杂志报道,华纳音乐集团(WMG)与皮雅芙遗产管理方合作,制作了长篇电影《爱迪丝》。人工智能通过接收数百个声音片段来训练,模仿皮雅芙的声音,WMG承诺这种重现将「进一步增强她故事的真实性和情感影响」。站长网2023-11-15 18:06:380000