一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)
作者:Reiichiro Nakano
编辑:肖琴
【新智元导读】一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo,只使用了一个单一的模型。demo效果相当不错,并且也开源了代码。
用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。
作者是日本小哥Reiichiro Nakano,他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。
不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络,在这个demo中,所有风格图像只使用一个单一的模型。并且,你可以自由混合不同的风格。
使用也非常简单,你只需要选择一张内容图像(content image)和一张风格图像(style image),然后点击“Stylize”,静候片刻,一张风格化的图像就处理好了。
如图所示,我们在“内容图像”选择一张芝加哥城市风景图,“风格图像”选择一张港口的版画风格图像,风格化后得到一张版画风格的芝加哥风景图。
其中,内容图像和风格图像都可以自定义,也就是说,你可以上传任意图像。风格化的强度也可以调整。
作者还提供了混合两种风格的效果。
总结而言,这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量(style vector)。然后,将该向量与内容图像一起馈送到一个的转换网络,进行实际的风格转换。
这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。
我们可以通过对风格图像和内容图像的风格向量进行加权平均,来控制风格化的强度。作者发现,这对于风格特别鲜明的内容图像很有用。
我们还可以通过在它们的风格向量之间插值,来组合不同的风格,并让网络猜测这两幅图像之间的风格是什么样子的。
将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3,它的权重> 97MB。作者使用distillation,能够用9.6MB的MobileNet-v2替换它,尺寸缩小了10倍。所以作者认为distillation这种技术被低估了,它可以为浏览器带来一些很酷的ML功能,因为很多模型由于太大而无法在资源有限的环境中进行部署。
这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上,这是图像风格化的经典论文之一。作者开源了代码。
下面我们简要介绍一下论文的主要思想。
模型和方法
这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。
论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法,允许使用任何内容/风格图像进行实时的风格化。
这个模型成功地用大约80000幅画作的数据库进行了训练,并能够推广到以前未见过的画作。
论文的主要贡献包括:
1、介绍了一种新的算法,用于快速、任意的艺术风格迁移;在80000幅画作上训练,并能对未观察过的画作实时运行。
2、在紧凑的嵌入空间中呈现左右绘画风格,捕捉绘画的语义特征。
3、证明用大量画作进行训练之后,模型能够预测以前从未观察过的风格。
4、嵌入空间允许对艺术家的艺术范围进行新的探索。
图1:网络在大量的绘画和纹理上训练生成的造型
图2:模型架构图示
如图2所示,整个网络架构由风格学习网络P和风格转换网络T组成,学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S,为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。
Demo 链接:
https://reiinakano.github.io/arbitrary-image-stylization-tfjs/
源代码:
https://github.com/reiinakano/arbitrary-image-stylization-tfjs
论文:
https://arxiv.org/pdf/1705.06830.pdf
相关文章
-
最前线丨腾讯总市值超过阿里巴巴,逾4.7万亿港元
-
自媒体五大平台的特点和注册流程(建议新手收藏)
-
苹果发二季度财报:净利同比降16%;阿桑奇被判50周监禁;谷歌前CEO施密特离开Alphabet董事会
-
高通希望你的手机能够驱动下一代VR和AR设备
-
Nansen:DeFi热潮之下,BSC一周年回顾
-
如何快速成功地发表论文?
-
2018中国AI英雄风云榜:一起投出中国AI领军人
-
京东or拼多多?腾讯的选择很重要
-
如何免费自定义qq主题
-
最前线|“云办公”竞争头部化:钉钉MAU同比增长逾3倍,企业微信增长84.8%
-
数字电视怎样接收地面波电视信号
-
任正非评华为HR胡玲事件:要互相宽容、互相理解|CEO说
-
春节红包大作战:百度成赢家,苏宁最良心,拼多多套路深
-
索尼推出新PS+会员6月上线第一方游戏不会第一时间加入
-
政府与开发者协同不足制约数据应用落地
-
小米9旗舰机下周发布,定价或超4000元
-
这家公司想向联发科收专利费,不料近六成涉案专利被判无效
-
百度获得春晚流量加持后,或能重返BAT第一梯队?
-
抗拒刷脸支付,你到底担心什么?
-
智造头条|美政府罕见举动:召集构建电动车原材料供应链;高通仍想与苹果合作5G手机;腾讯为60亿美元债券定价
-
女子带一物品上鉴宝节目,自称是拿房子换来的,专家说:眼力独到!
-
科技周报:抖音将开放15分钟权限;传阿里巴巴将香港IPO推迟到10月
-
遗憾!2018年全球手机销量华为不敌苹果抱憾屈居第三
-
西安战疫“网”动力倡议书
-
爱奇艺CEO:95后00后普遍以看盗版内容为耻
-
产品思考:为什么微信语音消息播放不加进度条?
-
ofo、摩拜、哈啰共享单车“三国杀”:谁能笑到最后?
-
深度资讯|“视频号”内测,微信补全内容生态的最新尝试
-
产业生态链背后的商业创新力量