ICLR2020|华为诺亚:巧妙思想,NAS与「对抗」结合,速率提高11倍
作者丨dwilimeth
编辑丨Camel
本文转载自知乎专栏:AutoML随笔
今天介绍一篇 ICLR 2020 的工作 Adversarial AutoAugment。作者是来自华为的 Xinyu Zhang, Qiang Wang, Jian Zhang, Zhao Zhong。
之前的那些 NAS 做数据增强的工作,例如 AutoAugment,算法流程大致是这样的:用强化学习训练一个 policy generator ,从样本空间中采样,产生大量的 policy 。每一个 policy 会对应一个做分类任务的子网络,子网络使用这个 policy 来做数据增强,在数据集上随机初始化训练完后,测一下验证集上的准确率作为强化学习的 reward 更新 policy generator。
本文作者指出,这样做存在的不足之处:
计算开销大,policy generator 要从样本空间中产生大量的 policy,每一个 policy 都对应一个从头开始训练的子网络,更新 policy generator 还必要要等到整个网络训练完。为了给 AutoAugment 加速,有一些方法会提出一些 proxy tasks,比如说用小模型在数据集的一个小的子集上面搜。但是这样做存在一个 proxy tasks 和原始的任务之间的 gap,在 proxy tasks 上面最优不能保证在原始任务上也是最优的;
在分类子网络训练的过程中,policy 是静态、一成不变的。这样做可能也不是最优的。
针对这些不足,本文就提出了一种新的方法,policy generator 和分类网络能同时并行训练;此外,在分类网络的训练过程中,还能动态调整 policy 。这种方法和 AutoAugment 相比,在 ImageNet 数据集上的计算开销减少了12倍,训练时间缩短了11倍。
怎么做到的呢?作者引入了 GAN 里面的“对抗”思想,引入了 adversarial loss。整个网络可以看做两部分:一个是 policy generator,优化目标是生成那些让分类器的分类 loss 最大的数据增强 policy;一个是分类器,优化目标是在给定 policy 之后对应的分类 loss 最小。
具体的网络结构如下图所示,就是一个分类网络 target network,和一个生成 policy 的 policy network。
在训练的过程中,policy network 会生成 M 个不同的 policy,并把这 M 个 policy 作用于相同的数据上,得到 M 个分类 loss,并更新分类网络 target network 的权重。而这 M 个分类 loss 也会收集起来,根据 Williams的REINFORCE算法拿来更新 policy network 的权重,目的是最大化分类 loss。如此迭代进行。
加入 adversarial loss 的好处可以看做是两方面:一方面是大大减少了训练所需的时间;另一方面,可以认为policy generator 在不断产生难样本,从而能帮助分类器学到 robust features,从而学的更好。
作者也可视化了学到的 policy ,如下图。可以看出随着 epoch 数量的增加,policy generator 会倾向于产生更难的数据增强 policy,如 TranslateX, ShearY and Rotate 这些几何转换会被更多使用。
作者的这种方法需要比较大的 batch size,一般来说大的 batch size + BN 能涨点,因此直接和 AutoAugment 比较似乎不太公平。针对这一点,如 table 4 所示,作者做了大 batch size + 随机搜索的对照实验,证明自己的搜索策略的有效性。
此外,作者也证明了搜到的 policy 具有很好的迁移性能。如下表所示,用 ResNet 50 在 ImageNet 上搜到的 policy,换到其他模型、其他数据集上也能有不错的结果。
个人感觉 NAS 和 adversarial loss 结合的这个 idea 是很巧妙的,在其他任务中也能借鉴。比如说搜 loss function 的时候用 adversarial loss 或许也能有不错的结果。
更多ICLR 2020信息,将在「ICLR 2020 交流群」中进行,加群方式:添加AI研习社顶会小助手(AIyanxishe2),备注「ICLR」,邀请入群。
ICLR 2020 论文解读系列:
相关文章
-
【贝佐斯身价突破1700亿美元超越离婚前水平】
-
特立独行!这款浏览器化繁为简,未来或成最舒服的主流浏览器
-
为什么现在电脑中还需要命令行
-
苹果140亿美元上诉案开庭:称欧盟滥用职权违背常识
-
突发:FF与恒大达成和解,重签新的合作协议,终止诉讼
-
【钛晨报】高通已向华为重启供货;WeWork创始人诺依曼辞去CEO职务;中金腾讯合资成立技术公司
-
从武汉互联网取药模式,谈处方外流的关键因素
-
cpdd是什么意思
-
亚马逊AWS官网惊现中国合作伙伴,CDN和云计算厂商又入蜜月期
-
原优酷总裁接受调查背后:守住红线方得始终
-
鲸鱼加速器为什么获取不了验证码
-
丁香医生正面刚权健,支付宝辟谣交易受监控,太吾绘卷销量破百万
-
Instagram运营指南,跨境电商怎样做Instagram引流
-
华为与美国政府打官司,但输赢或许不是最重要的
-
好书荐读∣床头明灯入心间,《床头经济学》伴你香甜入眠
-
电脑wifi不见了怎么办
-
马斯克:下一步我干啥,你猜
-
为何要进行多轮核酸检测?
-
天猫双11菜鸟驿站“秒取快递”百城上线,扫码、刷脸黑科技持续落地
-
AirPower终究梦一场,网友:真出来了价格也会劝退消费者
-
哈罗要在网约车市场取得突破,离开补贴行不通
-
百度获得春晚流量加持后,或能重返BAT第一梯队?
-
我为什么赞成停更“双微一抖”?
-
才能把全民k歌中的本地录音导到另一个手机上
-
智东西晚报:华为发布Mate20X5G版苹果10亿美元收购英特尔手机芯片业务
-
美国政府一纸禁令,封禁了所有程序员们的自由?
-
“买菜”凶猛,入局“三”思
-
还记得快播创始人王欣搞的马桶MT吗?它不做社交了,改做内容电商
-
小米危局:国内受阻,海外乏力?