什锦文坊 > 数码科技 > \

AAAI2020|王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)

原标题:AAAI 2020 | 王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)

作者 | 王培松

编辑 | Camel

本文是对中科院自动化所完成,被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。

二值网络(BNN)由于其对于硬件非常友好,获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高,但是相对于全精度浮点网络,其精度损失严重。

目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1,对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等,然而二值表达形式却被研究者忽略。

在本文中,我们提出了稀疏量化,即对网络激活量化到0和+1,而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时,不会引入任何额外的计算量,但网络性能却获得大幅度提升。同时,针对稀疏二值量化网络中超参选择问题,我们提出一种高效的自动化学习方法,进一步提升二值网络性能。

通过实验发现,我们在没有使用任何额外技巧的情况下,网络精度能够达到目前最高水平。

AAAI2020|王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)

相关报道:

AAAI2020 | 新型冠状病毒疫情下,还去开会吗?

显示全文

相关文章