,的年轻一代中,许多人是ACG(动画、漫画和游戏)的铁杆粉丝。在社交网络上,我们经常会看到动漫人物的头像,因为对于这些用户来说,共同的兴趣爱好是他们彼此认同、增进交流的有效途径。
不过有两个小问题:第一,热门动漫作品很少,经常发生撞头事故。并且,不论账号主人性别,头像都是可爱的女生,时间长了也没有识别。每次在网上看帖子,就像看着一堆动漫人物互相留言,互相夸赞.
众所周知,基于神经网络的AI近年来发展很快,其中一项技术叫做风格转移。简单来说,就是让图A获得图B的风格,但仍然具有明显的A的特征,有了这项技术,ACG粉丝也可以让自己的头像拥有动画风格。只是效果还是不太理想。看起来像是用画笔和颜色来描边一张人脸照片:
这种风格转移其实有点违背初衷:很多人为了可爱而使用动漫头像,但最终输出看起来一点都不可爱。然而,ACG球迷不会停止!一组韩国人工智能研究人员最近发表了一篇论文,展示了他们在图像到图像翻译方面的重要进展。他们达到的效果看起来更像是找了一个漫画家认真地重新创作了原始照片,效果超过了现有的所有漫画技术:
原图(a)和输出结果(e)用红框标注,输出的头像不仅更接近我们在动画中经常看到的形象,而且与原图的辨识度也很高。研究人员基于无监督学习方法和生成对策网络(简称GAN)的框架,添加了全新的注意力模块,发明了一种称为“自适应层-实例归一化”(AdaLIN)的归一化机制,开发了一种全新的神经网络。
正是由于研究人员设计的全新的注意和规范化机制,我们可以从输出结果中看到,这个神经网络对不同的特征进行了不同的处理。被放大的特征,比如眼睛,被放大;该减的特征,比如鼻子和嘴巴,也减了;至于其他特征,比如发型、发色、肤色,甚至面部阴影,也都还原得相当准确。
研究人员指出,以前的图像风格转移结果之所以看起来像笔画,是因为原始图像的线条背景必须映射到输出结果上;他们开发的注意力和规范化机制可以将注意力吸引到原始图像和目标风格图像上,然后引导模型重构不同的区域和特征。
换句话说,这个新模型可以理解为动漫头像一定要有大眼睛,更线的头发,更亮的发色和瞳孔颜色。它会根据这些原理(从输入的参考头像中获得)进行翻译。研究人员在论文中提到,他们的模型在简单风格转移的基础上又上了一个新台阶,具备了物体变形的能力。
AdaLIN是他们发明的一种自适应层实例规范化机制,具有一些其他优势,如可调整性。研究人员可以分别调整层和实例,从而在输出中实现不同程度的形状和材质变化。从下图可以看出,从第三个到第六个,是调整归一化机制得到的不同结果:
在文本翻译中,输出结果要符合目的语的语法、使用习惯等等。图像到图像的翻译也是如此。你可以这样理解:以前的风格转移只是“直译”,而U-GAT-IT实现了“信达雅”的突破。这项技术的另一个强大功能是,它可以准确地翻译几乎任何类型的照片(动物、宠物的脸、风景),并且它不需要调整神经网络的参数:
头像瞬间萌化!这项技术让你一键成为日漫的主角。值得一提的是,包括Kim在内的三位作者均来自在游戏界被称为“韩国英雄”之一的韩国游戏公司NCsoft另一位作者来自波音韩国工程科技中心。
NCsoft开发的老款网游《天堂》(天堂1 2)于1998年上线,至今已在包括中国在内的多个国家持续运营了21年。还有《永恒之塔》等几款知名游戏。但很少有人知道的是,NCsoft其实是韩国人工智能研发最激进的公司之一。
据《韩国时报报道》了解,NCsoft于2011年成立了专门的R&D团队,目前运营着两个独立的研究机构:人工智能中心和自然语言处理中心。前者负责游戏AI、语音识别和计算机视觉,后者专注于语言理解和知识体系。
头像瞬间萌化!这项技术可以让你一键成为NCsoft人工智能中心和自然语言处理中心的负责人。在公司举办的活动中,两个中心的负责人直接管理公司创始人兼CEO金。员工总数约为160人,今年将增加到300人左右。
NCsoft深度学习的主要目的是将相关技术引入游戏和服务。目前,该公司正在使用AI检测插件,并根据玩家的游戏习惯和兴趣数据定制服务。本文提到的技术将会极大地改善玩家的游戏体验。也许以后不用捏脸了,只要上传头像就能生成精准的动漫游戏角色。
头像瞬间萌化!这项技术可以让你一键成为日本男人的主角。波音公司去年刚刚在韩国建立了一个工程技术中心。其主要研究兴趣包括自动化、人工智能、航空电子和数据分析。该机构的技术人员主要来自韩国知名大学和科技公司。目前这项技术还没有demo可用,但是如果你熟悉TensorFlow,可以在GitHub上浏览代码[2]或者阅读原文按照说明在自己的电脑上运行~