ICML 2020百度大脑再创佳绩！入选7篇论文 举办3场

ICML 2020会议论文投稿量再创新高，接收率下降至21.8%左右。百度AI在激烈的投稿竞争中，成功入选论文7篇，涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域；，百度AI积极申办ICML EXPO，获得3场举办资格，这是主办方对百度AI技术实力的肯定，也展示出百度AI在全球人工智能产业的行业领先地位。

近年ICML等顶级人工智能大会广泛受到学界、业界重视，文章评选门槛逐年抬高，录选文章含金量大幅提升。今年，ICML 2020会议论文投稿量再创新高，4990篇有效投稿中，仅1088篇被成功收录。相较2019年的接收率22.6%，今年接收率下行，约为21.8%左右。在投稿竞争逐年激烈、论文接收率四年连降之时，百度作为中国科技企业代表，突出重围，成功入选论文7篇，涵盖深度学习、迁移学习、自然语言处理、数据隐私以及语音等众多热门子领域，彰显中国企业在AI技术领域的深厚科研实力。推火网以下为百度ICML 2020入选论文的亮点集锦

1、Non-Autoregressive Neural Text-to-Speech

关键词文本到语音，非自回归模型，变分自动编码器

该论文提出了“ParaNet”的概念，即可通过使用非自回归seq2seq模型将文本转换为声谱，采用了完全卷积的结构。相较DeepVoice3，ParaNet在合成时达到了46.7倍的提速，并且获得了很好的语音质量。通过逐层迭代地提高注意力，ParaNet在具有挑战性的测试句子集上实现了文本和语音之间的稳定对齐。除此之外，该论文构建了并行文本到语音系统，测试了各种并行的神经声码器。这些声码器可通过一次前向传递，直接从文本中合成语音。论文还根据VAE探索了一种新全新方法，用以训练基于逆自回归流（IAF）的并行声码器。与先前的方法相比，新方法仅需训练一个模型，从而避免了单独去训练WaveNet的繁琐。

2、WaveFlow: A Compact Flow-based Model for Raw Audio

关键词生成流模型，最大似然估计，文本到语音

该论文发布了WaveFlow，即通过体积非常小的生成流对原始语音进行建模，并采取了最大似然估计的方法进行训练。WaveFlow使用了扩张的二维卷积架构来处理一维波形中的长距离结构，使用了自回归函数来描述段距离结构。 WaveFlow提供了针对一维数据的似然模型的统一视图，WaveNet和WaveGlow皆可看作其特殊情况。相较WaveNet，WaveFlow生成了可与之媲美的语音，与此取得了高达几个数量级的提速。，它可以显著降低自回归模型与流模型之间的似然差距。，轻型WaveFlow仅含有591万个参数，相比WaveGlow小了15倍。在单V100 GPU上，可以生成22.05 kHz的高质量音频，提速42.6倍。

3、Optimal Estimator for Unlabeled Lear Regression

关键词无标签，线性回归，非凸优化

4、Lower plexity bounds for fite-sum convex-concave mimax optimization problems

关键词下界复杂度，随机一阶算法，鞍点问题

该论文研究了n个独立光滑的凸-凹型函数有限和形式的鞍点问题的一阶算法复杂度的下界。百度AI考察的PIFO算法可在每次查询中获取到函数对应的梯度算子和Proximal算子的结果。对于强凸强凹型的函数，证明了PIFO算法不能在少于(n+kappa)log(1/epsilon)的迭代步数内得到epsion-鞍点，其中kappa是目标函数的条件数。这个下界在一些特殊的双线性问题上可以和一些一阶增量Proximal算法完全匹配。论文设计了一种新的方法来处理 Proximal 算子，将矩阵的行进行分解,并非同往常在IFO框架下进行堆叠。 新方法对于处理Proximal算子和梯度算子皆很友好，进而将一般的凸-凹型函数也做了对应的下界分析。

5、RIFLE: Backpropagation Depth for Deep Transfer Learng through Re-Initializg the Fully-connected LayEr

关键词深度学习、迁移学习、反向传播

微调一个预训练好的深度卷积网络，可帮助从大型数据集学到的知识转移给目标任务。当目标任务数据集较小时，虽然这种方法可以提升效果，但由于反向传播带给深层卷积层的更新较小，迁移学习得到的模型经常被限制在预训练模型附近。百度AI在该论文中提出一种应用于迁移学习的简单策略RIFLE，来加深反向传播，通过在微调过程中周期性地重新初始化全连接层。RIFLE给卷积网络的深层带来有意义的更新，提升低层次特征的学习，在整个学习过程中，全连接层随机初始化后很容易重新收敛。实验结果表明使用RIFLE显著提升了迁移学习效果，且超过已有的同类方法如Dropout、Dropconnect、Stochastic Depth, Disturb Label、Cyclic Learng Rate，在多个数据集上效果提升0.5%-2%。百度AI还通过经验学习和消融学习进一步证明RIFLE给网络深层带来了有意义的更新。

6、On the Noisy Gradient Descent that Generalizes as SGD

论文关键词深度学习、学习理论、随机梯度下降

随机梯度下降（SGD）的梯度噪音被认为在深度学习的强泛化能力中扮演重要角色。先前研究中，确认了梯度噪音的大小和协方差结构对于正则化非常关键，但仍不清楚噪音分布的种类是否重要。该论文研究提供了一个否定的答案，说明了SGD中使用不同类型的噪音仍能有效对梯度下降做正则化。百度AI基于针对SGD噪音结构，探索出了一个新发现，即SGD噪音是梯度矩阵和小批量采样所带来噪音的乘积；并且采样噪音统一了两种属于高斯类型的梯度正则化噪音一种是使用费雪分布协方差，另一种是SGD梯度协方差作为协方差。最终，依据噪音选取的灵活性，提出了一种算法来实施泛化能力好的有噪音的梯度下降，其变种还能使得大批量SGD训练不损失泛化能力。

7、Scalable Differential Privacy with Certified Robustness Adversarial Learng

关键词深度学习、对抗学习、差分隐私