登陆注册
9591

AI生成系统CityDreamer:可创建无限的 3D 城市街景

站长网2023-09-06 17:36:021

文章概要:

1. CityDreamer 是一种生成式AI模型,可以创建无限的3D城市环境。

2. 通过将建筑实例生成与其他背景对象分离,可以更好地处理建筑多样性。

3. 使用真实城市数据集训练,可以增强生成结果的真实性。

相比生成自然场景,用AI创建城市更复杂,因为可以更容易察觉结构失真。CityDreamer是一种生成式AI系统,专门用于创建开放式的、无边界的3D城市环境。

自然场景生成的成功可归因于两个主要因素:(1)自然场景中的同类对象倾向于外观相似;(2)像SPADE这样的图像转换技术可以快速生成大量高质量训练数据。但这不适用于城市建筑生成。

它的关键创新在于将建筑实例的生成与其他背景对象如天空、地面等分离开来。这样可以更好地处理城市场景中建筑外观多样性的挑战,这也是与生成自然环境相比的一个重要区别。

CityDreamer系统使用了两个真实世界的城市数据集:开放街图(OSM)和Google Earth,这为模型提供了真实的城市布局和建筑样式。研究人员通过这些数据训练模型学习生成逼真的城市场景。CityDreamer包含四个模块:无界布局生成器、城市背景生成器、建筑实例生成器和合成器。

与此同时,建筑实例的生成使用变分自编码器获得更好的多样性。这样就可以创造出具有极高细节和逼真度的3D城市,并可以无限扩展生成范围。

可见,CityDreamer系统应用了多个生成模型的优点,解决了生成开放式城市场景的关键难题,为未来数字城市和元宇宙相关任务提供了有力支撑。这项研究工作展示了生成模型在复杂三维场景生成方面的巨大潜力。

项目网址:https://infinitescript.com/project/city-dreamer/

https://github.com/hzxie/city-dreamer

0001
评论列表
共(0)条