ReActSpeech: Learning to Auto-correcting for High-quality Spectrograms

Abstract

Non-autoregressive text-to-speech (TTS) has achieved impressive inference speedup but at the cost of inferior voice quality. The fundamental reason lies in the gap between the complexity of data distributions and the capability of modeling methods. Previous works utilize either simplifying data distributions or enhancing modeling methods to alleviate the problem. In this work, we propose a new architecture ReActSpeech to explicitly learn to ”auto-correcting” for high-quality spectrograms. Specifically, ReActSpeech utilizes a redistribution module to improve (correct) extracted alignments automatically, and an iterative decoder called revisor to refine (correct) spectrograms iteratively. Extensive experiments conducted on several benchmarks show that ReActSpeech can greatly alleviate the above problem and achieve a nice tradeoff between training time, inference speed, and output quality.

Audio Samples

All of the waveform use same vocoder model.

Audio Quality

所以呢她整个人现在应该说是~，嗯~，非常的孤独。

其实能够~，嗯~，给当下~的人们一些，人性上的拷问吧。

后来我爸跟我说呢他觉得，嗯像这样~，一下子变深的水域，就可能有像鲨鱼啊等等就是，体型~比较~，庞大的食肉鱼出现。

嗯~结果没有想到，嗯~它是一只公猫嘛，后来给它做了绝育之后呢~，嗯~它食欲又大增，然后又给它~各种吃~，各种补~，现在呢已经完全不是一只豆芽儿了。

它就会追着这个电视屏幕，一直跑~，一直抓，还是~挺有意思的。

不是很正规的猫舍买的，所以呢才，几千块钱。

然后，嗯~，大概~，五片呢也不过就是，一百，七八十块钱~，我觉得还是可以接受的一个价位。

然后有一些呢，嗯~，包括~，基础设施啊什么的，都比较古老。

所以呢，就可能一直到我们~高考~，结束，它都没有，鞥~就是它都没有空调~，所以呢在里面读书的同学呢，也是比较惨。

呃~当时呢跟着一位，非常非常严厉的数学班主任。

嗯~然后~，鞥~说到初中的班主任呢~，呃~其实呢我在很多很多年后，跟我的一些，初中同学呀~，还有初中的好朋友，鞥~回首这一段历史的时候，都觉得有一点点不堪回首，就是因为她的管理方式，太不人性化了。

嗯~早上没有交上作业的话，那下午呢就要去教室的最后面罚站，一罚站呢就是一下午。

嗯~另外一个呢是综艺节目播音主持，这个呢是可以，呃就是根据自己~的情况，然后进行挑选的。

我觉得可能以后，自己动手的机会呢就会越来越少。

嗯~但是在日本的话呢，他们那些小吃，又很精致很漂亮，而且~确实味道很好。

哦~，我没看过，但是我听大家的评价~好像都还不错。