TTS

划重点:⭐️亚马逊AGI团队发布了有史以来最大的文本转语音模型，具有最多的参数和最大的训练数据集。⭐️新模型名为BASETTS，拥有980亿参数，使用了10万小时的录音数据进行训练，主要是英语。⭐️该团队计划将BASETTS用作学习应用，以改进文本转语音应用的人类声音质量。

伴随着生成式深度学习模型的飞速发展，自然语言处理（NLP）和计算机视觉(CV)已经经历了根本性的转变，从有监督训练的专门模型，转变为只需有限的明确指令就能完成各种任务的通用模型。在语音处理和文本到语音（TTS）领域，这样的转变也正在发生，模型能够利用数千小时的数据，使合成结果越来越接近类人语音。

要点:1、E3TTS是一种简化高效的端到端扩散式文本到语音模型，通过扩散模型生成高保真的语音波形。2、E3TTS模型由预训练的BERT模型和扩散UNet模型组成，以提取文本信息并迭代地生成最终的语音波形。3、E3TTS不仅能生成高保真音频，还支持零样本任务，如语音编辑和基于提示的生成。