南开大学与字节跳动研究人员推出开源AI工具ChatAnything:用文本描述生成虚拟角色
划重点:
1. 🎭 **ChatAnything框架介绍**:南开大学与字节跳动研究人员合作推出一种名为ChatAnything的新型框架,旨在以在线方式生成基于大型语言模型(LLM)的角色的拟人化形象。
2. 🗣️ **MoV和MoD创新概念**:研究团队提出了两个创新概念,即“混合声音”(MoV)和“扩散混合”(MoD),用于实现声音和外观的多样生成。MoV利用文本到语音算法生成预定义音调,而MoD结合文本到图像生成技术和说话头算法简化生成交互式对象的过程。
3. 🧠 **ChatAnything框架的挑战与解决方案**:研究人员在使用当前模型生成的拟人化对象时遇到了检测困难,提出通过像素级引导注入人脸关键点以增加检测率。他们还介绍了ChatAnything框架的四个主要模块,包括LLM控制模块、肖像初始化器、文本到语音模块混合和动作生成模块。
南开大学与字节跳动研究人员合作推出了一项引人注目的研究,发布了一种名为ChatAnything的全新AI框架。该框架专注于通过在线方式生成基于大型语言模型(LLM)的角色的拟人化形象,从而创造具有定制视觉外观、个性和语调的人物。
简答的说,ChatAnything是一个创新的产品,利用语言模型技术为LLM角色创建具有视觉外观、个性和语调的拟人化角色。通过混合语音和外观生成概念,用户只需几个文本输入即可定制角色。该产品采用面部标志控制和评估数据集,通过像素级引导实现更高的人类面部特征生成率。ChatAnything支持文本和图像输入,为用户提供创造独特虚拟角色的自由度。
研究团队充分利用了LLMs的上下文学习能力,通过精心设计的系统提示生成具有个性的拟人化形象。他们提出了两个创新概念:混合声音(MoV)和扩散混合(MoD),以实现声音和外观的多样生成。MoV使用文本到语音(TTS)算法生成预定义音调,根据用户提供的文本描述选择最匹配的音调。而MoD则结合了文本到图像生成技术和说话头算法,简化了生成交互式对象的过程。
然而,研究人员在使用当前模型生成的拟人化对象时遇到了一个挑战,即这些对象通常无法被预先训练的面部关键点检测器检测到,导致面部运动生成失败。为了解决这个问题,他们在图像生成过程中引入了像素级的引导,注入人脸关键点,显著提高了面部关键点检测率,从而实现了基于生成的语音内容的自动面部动画。
研究人员在论文中详细讨论了大型语言模型(LLMs)的最新进展以及它们在上下文学习方面的能力,将它们置于学术讨论的前沿。他们强调了需要一个能够生成具有定制个性、语音和视觉外观的LLM增强人物的框架的重要性。对于个性生成,他们利用LLMs的上下文学习能力,使用文本到语音(TTS)API创建了一个声音模块池,MoV模块根据用户文本输入选择音调。
研究人员进一步介绍了ChatAnything框架的四个主要模块,包括LLM控制模块、肖像初始化器、文本到语音模块混合和动作生成模块。他们通过引入扩散模型、语音变换器和结构控制,创建了一个模块化和灵活的系统。为了验证引导扩散的有效性,研究人员创建了一个包含不同类别提示的验证数据集,并使用预训练的面部关键点检测器评估了面部关键点检测率,展示了他们提出的方法的影响。
ChatAnything框架为生成具有拟人特征的LLM增强人物提供了全面的解决方案。研究人员在解决面部关键点检测方面提出了创新性的解决方案,并在验证数据集中取得了令人鼓舞的结果。这项工作为将生成模型与说话头算法相结合以及改善数据分布的对齐提供了未来研究的可能性。
项目地址:https://chatanything.github.io
相关论文:https://arxiv.org/abs/2311.06772作者:AI_Fox https://www.bilibili.com/read/cv27716378/?jump_opus=1出处:bilibili
Fortinet 使用 AI 将安全事件检测和响应时间从三周缩短到一小时
站长之家(ChinaZ.com)8月7日消息:网络安全企业Fortinet最近公布了2023年第二季度财报,显示公司的总营收为12.9亿美元,同比增长26%。站长网2023-08-07 16:48:310000大规模裁员之后,Spotify首席财务官也辞职了
**划重点:**1.💔**财务危机与高层变动:**SpotifyCFO辞职,伴随着近期大规模裁员,公司面临财务艰难时刻。2.🔄**战略调整:**SpotifyCEO宣布公司将强调利润而非增长,寻找新财务总监以适应市场预期。3.💸**高管动向:**CFO辞职前通过高价售出股票,引发投资者关注和对公司决策的疑虑。0000老人为短剧一个月充值4万元:多个小程序无故下线、退费难
快科技3月8日消息,据媒体报道,短剧春节档最高日消耗破亿,总票房预估8亿元,但疯狂吸金的背后依然乱象丛生。家住成都的CC表示,自己在偶然帮妈妈处理手机问题时发现微信中有很多笔短视频小程序的支付记录,金额大部分在9.9元、19.9元、39.9元不等,有少数几笔是129元的。0000Adobe宣布平台AI生成的图片遇纠纷可获全额补偿
最近,Adobe宣布,当用户使用其提供的AI图像生成工具FireflyforEnterprise时,如果因为使用AI生成的图片而引发版权纠纷,Adobe将为相关法律费用提供全额赔偿。0000英特尔 CFO:预期 AI 的发展将超越 GPU 范围 涵盖到 CPU 领域产品
英特尔公司的股价上涨了约5%,这是在芯片制造商的首席财务官周三表示,公司有望达到第二季度收入预测的上限。在游戏和人工智能芯片公司英伟达季度收入预测震惊华尔街之后,半导体股在过去一周出现了反弹,该公司押注于人工智能工具的快速采用。站长网2023-06-03 13:06:070000