AI学习者 · 5月8日

WaveNet结构与推断

image.png

WaveNet是2016年Google DeepMind 提出的一种Neural Vocoder 架构,模型主体为一个基于空洞因果卷积(Dilated Causal Convolution)的概率模型。即基于Condition(Mel Spectrogram),以及之前时间节点的语音生成一个概率分布,再采样得到下一采样点。反复执行该步骤,最后得到完整语音。

本文的目标是以可复现为目标的讲述WaveNet的模型结构,以及推断(Inference)过程。并且着重叙述空洞卷积(Dilated Conv)残差块,因为之后很大一部分Neural Vocoder都会使用这个组件。讲述当中会有部分个人看法,见谅(仅仅是个人对模型结构设计的猜测)。

一、WaveNet 初衷

WaveNet的出发点十分简单,即当前采样点的概率分布依赖于之间时间点,换言之,我们可以用之前采样点作为条件的概率分布来描述当前时间点。从宏观角度(也就整段语音)来说,语音的概率分布实际就是每个时间点的条件概率分布的联合分布。可以引用论文中的公式:

image.png

其中x_t表示,时间点t对应的语音采样点。需要注意下文中使用的都是采样率固定的语音的离散表达形式。

基于这个想法出发,WaveNet的核心思路就转换成了对于每个采样点的条件概率分布建模,这里的条件(Condition)既包括了之前时间点,也包括对应时间的语音学特征(这里使用Mel Spectrogram)。

所以现在问题有二,1 这个模型的结构是什么样的。 2 推断(inference)过程是如何对对应采样点从概率分布中采样的。

二、 模型结构

1 模型框架

WaveNet的模型结构部分参照PixelCNN,训练通过 对数似然估计 (log-likelihoods) 学习参数。模型结构十分简单:

image.png
WaveNet 结构框架

可以看到模型主体是 k层网络块,通过Skip-connections 以及两个激活函数和1x1卷积层,最后加上Softmax层。

先需要确保除去Causal Conv, Dilated Conv, Skip-connections,是能够理解这个模型的。

当然 残差(Residual)这种模型方法是极为常见的,可以抽象概括为 在模型块的输出中额外加上模型块的输入,即 f(x) = x + g(x) 其中 g(.) 就是模型块。残差(Residual) 其实就是那个加号,就这么简单。好处是避免层数过深,参数无法训练。

然后剩下的就是ReLU激活函数和Softmax层了,这两个函数是不带可训练参数的,是两个结构数值都固定的函数。就是两个固定函数。

那么下文开始介绍比较有特色的Causal Conv, Dilated Conv, Skip-connections 结构,实际从数学角度来说,这三个东西比Residual,ReLU激活函数和Softmax层 好理解得多的多。

2 空洞因果卷积(Dilated Causal Convolution)

这种卷积层有两个前缀,一个Dilated, 一个Causal,先考虑因果(Causal)这个前缀。从语义理解得角度来说,因果卷积实际就是考虑到时序得因果关系得卷积。需要注意这里要考虑的是一维卷积,毕竟时间轴只有一条。

我们可以从图中看出这卷积的输出只依赖之前时间点的输入。举个例子,第一层隐藏层在时间下标为 t 的输出只依赖 时间 t-1 和时间 t 的输入,转成数学语言就是 hidden out = f(x_{t-1}, x_t) 。

image.png
因果卷积示意

那么我们能不能跳着使用之前的时间节点呢,毕竟只使用t-1 时间点感觉"看"得很窄,感受野很小。如果使用 t-2 时间点 或 t-4时间点呢? 这其实就是空洞卷积(Dilated Conv)的想法了。

image.png
空洞卷积

其中的 t-d 中的 d就是Dilation,也就是需要跳跃的时间间隔。 计算过程中我们可以每层都使用不同的Dilation(一般是逐步加大),这样感受野就大幅扩大,尤其对于语音这种前后时间依赖极强的实例非常有效。

v2-c30c38e855aa24273739940a3ff411a1_b.gif

3 跳步连接(Skip-connections)

Skip-connections 其实和残差方法极为类似,将各隐藏层的隐藏特征累加起来作为最后输出,实际表达为 : output = hidden_out1 + hidden_out2 + … + hidden_outn。

这样的好处是加速网络训练,同时防止网络过深导致的部分层的梯度消失。个人理解其实除了这些Skip-connections单独优势,还有个和空洞卷积Dilated conv 联合的作用。

模型中的每个卷积块使用的空洞卷积的Dilation实际是不同的,对于语音来说不同的Dilation可以等效于聚焦不同的频率,也就是说每个卷积块的关注的频率被人为的逐层过滤了,然后再通过 Skip-connections 进行整合。预测下一时间点的概率分布。 Skip-connections这里也起到了整合分频带的作用。

4 激活函数

这里说激活函数是说残差块内的激活函数,这里使用的是 tanh 和sigmoid的乘积。 不使用ReLU是可以理解的,因为ReLU的输出只有正数,而语音波形有正有负,所以不能使用ReLU。

WaveNet使用了两个激活函数作为代替的目的是想要进行分工,sigmoid负责学习振幅,tanh负责学习相位和频率。这一步倒是十分贴合一些传统的Vocoder方法。理想情况下对于不同频率下的相位和振幅建模,该点也是证明上述中 Skip-connections这里也起到了整合分频带的作用 的佐证之一。

5 条件(Condition)添加

上述过程中只讲述了输入是之前语音序列的情况,模型的输入为序列x, x为时间点t之前的语音序列。实际上我们不能单单通过之前的语音预测下一个点,就比方说如果单独输入一个 “我”字,是无法预测到底是“我吃饭”还是“我睡觉”的,所以还需要添加一个条件(Condition)来限制预测方向。

对于Vocoder来说这个条件就是频谱特征,比较常用的是Mel Spectorgram。这个特征以帧为单位变化。这样就可以正确的指定预测方向了。

现在问题就变成了如何添加Conditon。WaveNet的方法是在激活函数 tanh和sigmoid之前添加condition,在直接加上condition之前还可以稍稍变换下condition。因而让condition通过一个1x1卷积层,然后加入激活函数。可写为:

image.png

其中 x 为之前时间的语音,h为condition输入, V就是1x1卷积层参数,W是空洞因果卷积,z是输出。

image.png

三、 推断(Inference)

也许看到这里大部分人认为Inference的部分没必要讲了,这一部分主要是针对对于概率模型inference不太熟悉的读者。

关键点是千万不要认为Softmax后的输出就是当前时间采样点的数值!

千万不要认为Softmax后的输出就是当前时间采样点的数值!

千万不要认为Softmax后的输出就是当前时间采样点的数值!

还记得在开头说的,WaveNet的输出是个概率模型吗。这里提供两种inference方法,一种是论文里的softmax后的概率模型,一种是高斯混合模型。

1 Softmax概率模型

这里涉及一个语音的知识先说明下:

语音的采样点存储方式一般是 16-bit Signed Integer PCM,也就是一个16比特的整数,但这样概率模型就相当于有65536种可能性,这样概率模型的就需要输出65536维概率。这非常不现实。所以需要采样点的量化,这里使用的是mu-law 量化方式,量化后可以将采样点表示为8比特的整数,也就是下降到了256种可能性,这样就比较好计算了。

每个数值的可能性可以通过Softmax计算,也就是我们每次得到256维的概率向量,代表的是量化后的数值的可能性,然后通过这个离散分布采样一个概率数值。

概率数值通过下式还原得到采样点数值。

image.png

2 高斯混合模型

这个模型也很好理解,假设我们建立的是三个高斯的高斯混合模型,那么如何表达这个模型呢?

简单,均值和方差能够确定一个高斯概率分布,那么三个均值和方差就能确定三个高斯的高斯混合模型。也就是六个参数就能够表达这个高斯混合模型了。

那么我们的输出预测就应该是6个靠近0的数(因为采样点取值范围在0附近),这六个数是表示高斯混合模型的参数。然后建立对应的高斯混合分布,再采样,就得到了当前时间的采样点。

实际操作中,WaveNet的模型输出也就是一个2N维的向量,对应的是N个高斯的高斯混合模型。

Reference

WaveNet: A Generative Model for Raw Audio

Conditional image generation with PixelCNN decoders

作者:一力徐羊
文章来源:知乎

推荐阅读

更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
9751
内容数
67
搭载基于安谋科技自研“周易”NPU的芯擎科技工业级“龍鹰一号”SE1000-I处理器
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息