如果由神经网络提供支持的工具可以为艺术家节省大量时间,甚至丰富他们的作品,该怎么办?
GANPaint Studio可以一窥未来的创意工具:
该工具会拍摄特定类别的自然图像,例如教堂或厨房,并允许使用画笔进行修改,这些画笔不仅会绘制简单的笔触,而且实际上会绘制语义上有意义的单位,例如树木,砖块纹理或圆顶
创新之处在于它的绘画工具/画笔不使用像素进行绘画,而是具有对象感知能力,而是将这些对象绘画到图片中。画笔与一组神经元相关联,而神经元本身与树木相关联,因此使用此画笔可以绘制树木;其他人可以做门或窗户。
相反,神经元也可以删除关联的对象,神经网络非常聪明,可以通过填充匹配的背景来补偿留下的空白。
这也是Deep Angel的工作,但用于视频而不是静态图片。在这两种情况下,添加或删除元素,您都无法轻易看出图片已被操纵。
一个有趣的例子是通过仅在刷墙上添加一个门到韦奇奥宫,让神经元发挥其魔力,用与其关联的对象替换刷过的区域;在这种情况下,这是一个门。
不用说,这种功能可以节省艺术家的大量时间,因为它可以合成逼真的图像而无痛苦。它也可以用于伪造逼真的假货,从而增加了不断扩大的武器库深度的伪造操纵工具,无论是操纵图片视频还是文本。OpenAI的GPT-2神经网络是否会对民主构成威胁?
其背后的技术在“生成对抗性网络的生成”一文“具有生成性图像的语义照片操纵”中进行了描述,该网络是一种神经网络,可以学习以人类感知的方式合成图像。这意味着该网络还可以理解何时可以并且不能组成对象。例如,在建筑物的正确位置打开门的神经元会增加一扇门,但是相反,如果您想做一些非理性的事情(例如在天空中插入门),则神经元将无法配合:
我们发现,GAN允许在建筑物中添加门,特别是在合理的位置,例如存在窗户或存在砖块的位置。相反,不可能在天空或树木上触发门
但是,我无法使用在线演示来验证这些说法。使用GANs进行GANpaint Studio语义照片编辑时,环境对我的绘画没有反应,而在使用GAN单元的GANpaint Paint中,我可以合成不合理的图像,例如在天空中插入一棵树。
我想那可能是因为暂时的故障,但是为了对话,让我们假设它是可行的。这将引发有关基础网络的问题,特别是GAN实际知道什么?
例如,当GAN在建筑物上而不是在树上生成门时,我们希望了解这种结构是否以纯像素模式出现而没有显式表示,或者GAN是否包含与人类感知的对象(例如门)相对应的内部变量,建筑物和树木。当GAN生成不真实的图像时,我们想知道错误是否是由网络中的特定变量引起的
因此,研究人员准备了另一篇论文“ GAN解剖:可视化和理解生成对抗网络”,其中,他们提出了一种可视化和理解GAN的方法,该方法在从每个神经元到每个对象到不同对象之间的关系的不同抽象级别上。
但是,由于使用该方法无法令人满意地回答许多问题,因此结果尚无定论。当然像TCAV之类的东西,请参阅TCAVExplains AI如何达到决策,这将对此有所帮助。
最后,这是GAN的进一步改进。尽管它们始终能够轻松地合成图像,但它们在操纵图像方面并不是那么有用。好吧,直到现在。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。