GAN 论文阅读笔记,欢迎关注。
来源：https://zhuanlan.zhihu.com/p/58814192
作者：林小北
在标准GAN中，判别器是一个logistic二分类器。在传统的机器学习中，另一个不可忽视的二分类算法是支持向量机（SVM）。SVM的出发点是找到决策面，让两个类别分别在决策面的两侧，并且与决策面保持一定的margin。参考SVM的这个思想，把GAN的判别器的损失函数改成hinge loss/marginal loss，便有了本篇笔记提到的系列论文：Geometric GAN、Energy-based GAN、Loss Sensitive GAN。
1.Geometric GAN
Geometric GAN的判别器力图把真实样本映射到大于1的区间，把伪造样本映射到小于-1的区间。Geometric GAN的形式如下：
在本笔记提到的诸篇论文中，Geometric GAN是唯一一篇明确由SVM引申到GAN的论文。另外几篇论文，虽然判别器的损失函数在形式上与Geometric GAN类似，都有margin的概念，但并没有显式地说明与SVM的联系。
值得一提的是，这个结构也被self-attention GAN和progressive growing GAN采用。
2. Energy-based GAN
EBGAN把D(x)看作是能量函数，越是真实的数据样本的能量越低，表达式为：
受EBGAN的启发，BEGAN提出了利用自动编码器的结构来移除WGAN的Lipschitz约束，参见《GAN论文阅读笔记3：WGAN的各种变体》。
3. Loss Sensitive GAN（损失敏感GAN）
作者通过一顿solid的理论分析证明了LSGAN能够收敛，并提出了GLSGAN，认为WGAN是GLSGAN的特例。具体的分析可以参考作者本人的blog：
齐国君：条条大路通罗马LS-GAN：把GAN建立在Lipschitz密度上
4. 总结
原始GAN的判别器是一个二分类器，WGAN把它变成了一个求W距离的工具，f-GAN把它变成了一个求f散度的工具，本篇论文则是把它看做了一个类似SVM的分类器。不管是什么样的判别器，核心就是要把真实样本和伪造样本区分开。
推荐阅读
更多深度学习，GAN相关论文阅读笔记请关注深度学习论文阅读笔记专栏。
关于作者林小北：毕业于清华大学自动化系，京东算法工程师。
欢迎关注知乎专栏：https://zhuanlan.zhihu.com/c\_1080771046889623552
