语音合成的预训练模子

语音合成的预训练模子

与 ASR（语音辨认）和音频分类任务相比，语音合成的预训练模子查抄点显着较少。在 Hugging Hub 上，可以找到近 300 个恰当的查抄点。 在这些预训练模子中，重点关注两种在 Huggingface Transformers 库中开箱即用的架构——SpeechT5 和 Massive Multilingual Speech（MMS）。 在本节中，将探索如安在 Transformers 库中使用这些预训练模子举行 TTS（语音合成）。
SpeechT5

SpeechT5 是由 Microsoft 的 Junyi Ao 等人发布的模子，它可以大概处置惩罚一系列语音任务。固然本文关注的是文本转语音， 但这个模子还可以用于语音转文本的任务（语音辨认或语言人辨认），以及语音转语音的任务（比方语音增强或变声器）。这是模子计划和预训练的方式所决定的。
SpeechT5 的核心是一个通例的 Transformer 编码器-解码器模子。就像任何其他 Transformer 一样，编码器-解码器网络使用隐蔽体现来模拟序列到序列的
转换。这个 Transformer 骨架对 SpeechT5 支持的全部任务都是雷同的。
除此之外，SpeechT5 尚有六个模态特定（语音/文本）的预处置惩罚网