阿里出品!DreaMoving:图片+文字提示就能生成高质量舞蹈视频
**划重点:**
1. 🌐 **框架介绍:** DreaMoving是一种基于扩散模型的可控视频生成框架,基于图文就能制作高质量定制的人类跳舞视频视频。
2. 🔄 **架构解析:** 文中提出了Video ControlNet和Content Guider两大关键组件,分别负责运动控制和身份保留,可适用于各种风格化的扩散模型。
3. 🎬 **成果展示:** DreaMoving通过姿势序列和简单的内容描述,如文本和参考图像,生成高质量、高保真度的定制视频。
DreaMoving由阿里巴巴集团的一组研究人员倾力打造,一种基于扩散模型的可控视频生成框架,。该框架的核心目标基于图文就能生成高质量、定制化的人类舞蹈视频。
DreaMoving以其出色的扩散模型为基础,能够根据人物的身份和姿势序列生成目标身份在任何地方跳舞的视频。
DreaMoving 可以生成高质量和高保真度的视频,给定指导序列和简单的内容描述,例如文本和参考图像作为输入。具体来说,DreaMoving 通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的综合视频外观控制来展示身份控制的熟练程度。
比如你“投喂”一张人像,以及一段prompt就能生成对应的视频,而且改变prompt,人物背景和身上的衣服也会跟着变化。
为实现这一目标,该技术引入了Video ControlNet和Content Guider两个关键组件。
Video ControlNet:这是一个图像ControlNet,通过在每个U-Net块后注入运动块,处理控制序列(姿势或深度)以产生额外的时间残差。这有效实现了对运动的控制。
Content Guider:该组件负责将输入文本提示和外观表达,如人脸(衣物是可选的),转换为内容嵌入,实现跨注意力的传递。
值得一提的是,目前DreaMoving项目并没有开源代码。点击前往DreaMoving官网体验入口
项目网址:https://dreamoving.github.io/dreamoving/
论文网址:https://arxiv.org/abs/2312.05107
苹果7月关闭我的照片流服务:用户需尽快迁移iCloud
快科技5月27日消息,苹果公司宣布将于7月26日关闭我的照片流”(MyPhotoStream)服务,并推荐现有用户尽快迁移到iCloudPhotos”服务上。苹果还表示,6月26日开始,不再接受用户上传照片到我的照片流”;在保留30天之后,于7月26日正式关闭。0000训练效率提升40倍!开源图片生3D模型,Stable Zero123来啦
12月14日,著名生成式AI开源平台Stability.ai在官网开源了,图片生成高质量3D模型——StableZero123。StableZero123是基于今年3月,丰田研究院和哥伦比亚大学联合开源的Zero123模型开发而成。主要通过更改渲染数据集和分数蒸馏对模型进行了大幅度优化,不仅生成的3D模型效果比Zero123更好,训练效率也提升了40倍。站长网2023-12-14 09:40:360001时薪15美元的ChatGPT外包工人,干的都是苦力活
自ChatGPT去年11月发布以来,让不少打工人陷入担心失业的恐慌中,也解决了部分人的“就业问题”。34岁的AlexejSavreux,就是其中之一。作为ChatGPT外包大军的一员,这份工作让AlexejSavreux从体力劳动的工人,摇身一变成为了AI训练师。然而,华丽的蜕变之后,这份工作似乎没有想象中的光鲜……除15美元时薪外,没有其它福利站长网2023-05-09 09:25:030000华为4月17日首发全液冷超充架构 充电桩功率“遥遥领先”
日前,快科技了解到,华为宣布将在4月17日举行华为智能电动新品发布会,首发全液冷超充架构、充电网络解决方案,同时还将发布AITO问界M5智驾版。此前报道显示,华为液冷超充桩在某汽车园区内就已曝光,充电桩通体呈大红色,造型方正,底部设有散热装置。充电桩铭牌信息信息显示,其制造厂商为华为数字能源技术有限公司,外部尺寸295*340*1700mm,型号为DT600L1-CNA1型。站长网2023-04-16 09:06:290000ChatGPT联动脑机接口 成功用脑电波发邮件
最近,Araya团队在脑机接口实验中成功地使用了ChatGPT,并利用EEG数据训练AI模型来操纵Gmail。该目标是为了开发BMI技术,以帮助残障人士参与社交互动和沟通,并且该技术还可以应用于提高客户服务场景的响应速度。这一成果让一些网友惊叹科幻成真了,但也有一些网友表示并不惊奇,因为非侵入式的脑机接口在好几年前就已经存在了,即使没有使用AI。站长网2023-05-16 16:23:080000