Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021143264 - IMAGE PROCESSING METHOD AND APPARATUS, SERVER AND STORAGE MEDIUM

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

附图

1A   1B   1C   1D   1E   1F   2A   2B   2C   2D   2E   2F   3   4  

说明书

发明名称 : 图像处理方法、装置、服务器和存储介质

[0001]
本申请要求于2020年01月19日提交中国专利局,申请号为202010061014X,申请名称为“图像处理方法、装置、服务器和存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及计算机领域,具体涉及一种图像处理方法、装置、服务器和存储介质。

背景技术

[0003]
人工智能(Artificial Intelligence,AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术,该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
[0004]
其中,计算机视觉(Computer Vision,CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建等技术,比如,图像着色、图像描边提取等图像处理技术。
[0005]
目前,通过计算机视觉技术进行的图像风格类型转换方法所生成的图像往往会产生多种图像失真问题,比如,图像的局部形变、图像的颜色信息缺失、图像风格类型错误,等等。因此,目前的图像处理方法所生成图像的质量低下。
[0006]
发明内容
[0007]
根据本申请提供的各种实施例,提供一种图像处理方法、装置、服务器和存储介质。
[0008]
本申请实施例提供一种图像处理方法,执行于服务器,所述方法包括:
[0009]
获取样本图像以及生成对抗网络,所述生成对抗网络包括生成网络和对抗网络;
[0010]
采用所述生成网络对所述样本图像进行风格转换处理,得到参照图像;
[0011]
采用所述对抗网络对所述参照图像进行全局风格识别,确定所述参照图像与所述样本图像之间的全局风格损失;
[0012]
对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失;
[0013]
对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失;
[0014]
基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络;及
[0015]
当获取到待处理图像时,采用所述训练后生成网络对所述待处理图像进行风格转换处理,得到风格转换后图像。
[0016]
本申请实施例还提供一种图像处理装置,包括:
[0017]
获取单元,用于获取样本图像以及生成对抗网络,所述生成对抗网络包括生成网络和对抗网络;
[0018]
初转换单元,用于采用所述生成网络对所述样本图像进行风格转换处理,得到参照图像;
[0019]
识别单元,用于采用所述对抗网络对所述参照图像进行全局风格识别,确定所述参照图像与所述样本图像之间的全局风格损失;
[0020]
内容单元,用于对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失;
[0021]
风格单元,用于对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失;及
[0022]
训练单元,用于基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络;
[0023]
再转换单元,用于当获取到待处理图像时,采用所述训练后生成网络对所述待处理图像进行风格转换处理,得到风格转换后图像。
[0024]
本申请实施例还提供一种服务器,包括存储器和处理器,所述存储器中存储有计算机可读,所述计算机可读被所述处理器执行时,使得所述处理器执行指令指令本申请实施例所提供的任一种图像处理方法中的步骤。
[0025]
本申请实施例还提供一个或多个存储有计算机可读的非易失性存储介质,所述计算机可读被一个或多个处理器执行时,使得一个或多个处理器指令指令执行本申请实施例所提供的任一种图像处理方法中的步骤。
[0026]
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。

附图说明

[0027]
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0028]
图1a是本申请实施例提供的图像处理方法的场景示意图;
[0029]
图1b是本申请实施例提供的图像处理方法的第一种流程示意图;
[0030]
图1c是本申请实施例提供的图像处理方法的网络结构示意图;
[0031]
图1d是本申请实施例提供的图像处理方法的cycle-GAN示意图;
[0032]
图1e是本申请实施例提供的图像处理方法的GAN示意图;
[0033]
图1f是本申请实施例提供的图像处理方法的质量监控网络的结构示意图;
[0034]
图2a是本申请实施例提供的图像处理方法的第二种流程示意图;
[0035]
图2b是本申请实施例提供的图像处理方法的街景图片示意图;
[0036]
图2c是本申请实施例提供的图像处理方法的正循环示意图;
[0037]
图2d是本申请实施例提供的图像处理方法的逆循环示意图;
[0038]
图2e是本申请实施例提供的图像处理方法的质量监控流程示意图;
[0039]
图2f是本申请实施例提供的图像处理方法的转换流程示意图;
[0040]
图3是本申请实施例提供的图像处理装置的第一种结构示意图;及
[0041]
图4是本申请实施例提供的服务器的结构示意图。

具体实施方式

[0042]
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0043]
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0044]
本申请实施例提供一种图像处理方法、装置、服务器和存储介质。
[0045]
其中,该图像处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0046]
在一些实施例中,该图像处理装置还可以集成在多个电子设备中,比如,图像处理装置可以集成在多个服务器中,由多个服务器来实现本申请的图像处理方法。
[0047]
在一些实施例中,服务器也可以以终端的形式来实现。
[0048]
例如,参照图1a,该服务器可以搭载图像处理设备,该服务器可以从数据库中获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络;采用生成网络对样本图像进行风格转换处理,得到参照图像;采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失;对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失;对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失;基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后 生成网络;当获取到用户上传的待处理图像时,该服务器可以采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像,并将该风格转换后图像返回给用户。
[0049]
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
[0050]
机器学习(Machine Learning,ML)是基于对数据的初步认识以及学习目的所进行的一系列分析,对数学模型中的参数进行训练,最后运用训练后的模型对数据进行分析预测的方法。机器学习的方法通常包括深度学习、决策树算法、贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、关联规则算法以及期望最大化算法,等等。
[0051]
在本实施例中,提供了一种基于机器学习的图像处理方法,如图1b所示,该图像处理方法的具体流程可以如下:
[0052]
101、获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络。
[0053]
本方案实施例可以用于图像处理,标注了图像风格类型的图像数据可以作为样本图像,来训练生成对抗网络中的生成网络和对抗网络。
[0054]
该生成网络可以用于转换图像的图像风格类型,其中,该图像风格类型可以是图像的艺术风格类型,比如,艺术流派风格类型、艺术时代风格类型、自定义风格类型,等等。例如,艺术流派风格类型可以包括印象派、抽象派、写实派,等等;艺术时代风格类型可以包括传统古典派、现代写实派,等等。
[0055]
该生成式对抗网络可以为任一种类型的生成式对抗网络(Generative Adversarial Networks,GAN),包括至少一个生成网络(Generative Model)和判别网络(Discriminative Model),在训练过程中,生成网络和判别网络可以互相博弈学习,从而优化网络参数,使得网络输出表现良好。
[0056]
比如,在一些实施例中,生成对抗网络可以是任一种生成式对抗网络(Generative Adversarial Networks,GAN),例如,条件生成式对抗网络(Conditional Generative Adversarial Networks,CGAN)、深度条件生成式对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)、 瓦瑟斯坦生成式对抗网络(Wasserstein Generative Adversarial Networks,WGAN)、循环生成式对抗网络(Cycle Generative Adversarial Networks,Cycle-GAN),等等。
[0057]
其中,该生成网络可以是一种用于图像风格类型转换的人工神经网络模型,对抗网络可以是一种用于图像全局风格识别的人工神经网络模型。
[0058]
在一些实施例中,生成对抗网络还可以是任一种VGG网络(Visual Geometry Group Network),比如VGG16、VGG19,等等。
[0059]
具体获取样本图像以及生成对抗网络的方式具有多种,获取样本图像以及生成对抗网络的方式既可以相同也可以不同;具体的获取方法可以是可以通过网络从样本数据库中获取、在本地内存中读取、由本地技术人员输入获得,等等。
[0060]
102、采用生成网络对样本图像进行风格转换处理,得到参照图像。
[0061]
生成对抗网络可以对样本图像进行风格转换处理,其中,风格转换处理是指将图像局部或整体的风格类型转换为另一种风格类型,同时保证图像所表达内容的完整性。
[0062]
比如,将某一风格类型的画作整体转换为现代风格类型、写实风格类型、传统风格类型;再比如,将某一风格类型的照片整体转换为晴天风格类型、阴雨风格类型、雾霭风格类型;再比如,将某一风格类型的照片局部转换为用户自定义风格类型,等等。
[0063]
在一些实施例中,参照图1c,生成对抗网络可以包括生成网络和对抗网络,参照图像可以包括第一参照图像和第二参照图像,步骤102可以是采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像。
[0064]
在一些实施例中,为了保证图像处理的效率,以及最终生成图像的质量,生成网络包括正向生成网络和逆向生成网络,样本图像包括正向样本图像,第一参照图像包括第一正向参照图像,第二参照图像包括第二正向参照图像,参照图1c,步骤“采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像”具体可以包 括如下步骤:
[0065]
采用正向生成网络对正向样本图像进行风格转换处理,得到第一正向参照图像;
[0066]
采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像。
[0067]
其中,正向生成网络和逆向生成网络的网络结构类似,在正向生成网络中,样本图像的图像风格类型可以被转换为另一种图像风格类型,而逆向生成网络可以将正向生成网络输出的风格转换后图像进行风格类型上的复原,使得风格转换后图像尽量接近样本图像最初的图像风格类型,即,正向生成网络的输入图像和逆向生成网络的输出图像相同或相似,正向生成网络的输出图像和逆向生成网络的输入图像相同或相似。
[0068]
样本图像可以包括正向样本图像和逆向样本图像为图像风格类型不同但表现内容相似的一对图像,即,逆向样本图像是正向样本图像风格类型变换后的图像。
[0069]
此时,在一些实施例中,在步骤103中,可以采用对抗网络,预测第一参照图像与样本图像之间的相似度,并根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
[0070]
由此,对抗网络可以限定第一参照图像的在全局上的图像风格类型,从而提高图像风格类型变换的准确度。
[0071]
在一些实施例中,第一参照图像可以包括第一正向参照图像,第二参照图像可以包括第二正向参照图像;其中,第一正向参照图像是指正向样本图像在正向生成网络中进行第一次图像风格类型转换后所产生的图像,第二正向参照图像是指第一正向参照图像在正向生成网络中进行第二次图像风格类型转换后所产生的图像。
[0072]
故在一些实施例中,生成网络可以包括正向生成网络和逆向生成网络,样本图像可以包括逆向样本图像,第一参照图像可以包括第一逆向参照图像,第二参照图像可以包括第二逆向参照图像,参照图1d的正循环部分,步骤“采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照 图像进行风格转换处理,得到第二参照图像”,具体包括如下步骤:
[0073]
采用正向生成网络对正向样本图像进行风格转换处理,得到第一正向参照图像;
[0074]
采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像。
[0075]
在一些实施例中,生成网络可以包括正向生成网络和逆向生成网络,样本图像包括逆向样本图像,第一参照图像包括第一逆向参照图像,第二参照图像包括第二逆向参照图像,步骤“采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像”,具体包括如下步骤:
[0076]
采用逆向生成网络对逆向样本图像进行风格转换处理,得到第一逆向参照图像;
[0077]
采用正向生成网络对第一逆向参照图像进行风格转换处理,得到第二逆向参照图像。
[0078]
比如,参照图1c,图1c所示的是Cycle-GAN网络,其中,图1d的上图为Cycle-GAN网络的正循环结构,在正循环中,正向样本图像首先输入正向生成网络,生成第一正向参照图像,然后,第一正向参照图像再输入到逆向网络中,生成第二正向网络;图1d的下图为Cycle-GAN网络的逆循环结构,在逆循环中,逆向样本图像首先输入逆向生成网络,生成第一逆向参照图像,然后,第一逆向参照图像再输入到正向网络中,生成第二逆向网络。
[0079]
在一些实施例中,为了进一步提高风格类型转换的质量和效率,参照图1c,在步骤“采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像之后”之后,还可以计算样本图像和第二参照图像之间的转换损失,此时,步骤106具体可以是基于转换损失、全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络。
[0080]
其中,转换损失是指两幅图像之间在像素、颜色分布、图像内容等图像特征上的损失。
[0081]
103、采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失。
[0082]
全局风格类型是指参照图像在图像整体方面所表现的图像风格类型。
[0083]
在一些实施例中,图像中可以表现出多种图像风格类型,该图像的全局风格类型可以综合这些图像风格类型,比如,在一幅画作中,该画作的左上角表现出现代艺术风格,该画作的右下角表现出传统艺术风格,该画作整体其余部分表现出写实艺术风格,该画作具体的全局风格类型为混合写实艺术风格。
[0084]
具体地,在一些实施例中,步骤103具体包括以下步骤:
[0085]
采用对抗网络,预测第一参照图像与样本图像之间的相似度;
[0086]
根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
[0087]
其中,对抗网络可以通过计算第一参照图像与样本图像之间的相似度所属的预设范围,来确定第一参照图像的图像风格类型。
[0088]
在另一些实施例中,对抗网络可以分别计算第一参照图像与样本图像之间的相似度,以及第一参照图像与逆向样本图像之间的相似度,来根据这两个相似度的大小来确定第一参照图像的图像风格类型。
[0089]
例如,在一些实施例中,具体包括以下步骤:
[0090]
采用对抗网络,预测第一参照图像与样本图像之间的相似度,以及,预测第一参照图像与逆向样本图像之间的相似度;
[0091]
当第一参照图像与样本图像之间的相似度高于第一参照图像与逆向样本图像之间的相似度时,确定第一参照图像的图像风格类型为正向样本图像;
[0092]
当第一参照图像与样本图像之间的相似度低于第一参照图像与逆向样本图像之间的相似度时,确定第一参照图像的图像风格类型为逆向样本图像。
[0093]
具体地,步骤“根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失”包括:
[0094]
当第一参照图像与样本图像之间的相似度属于预设正向范围时,将第一参照图像的图像风格类型确定为第一参照图像的图像风格类型;
[0095]
当第一参照图像与样本图像之间的相似度属于预设逆向范围时,将第一参 照图像的图像风格类型确定为第二参照图像的图像风格类型;
[0096]
统计第一参照图像的图像风格类型,得到统计结果;
[0097]
根据统计结果计算第一参照图像与样本图像之间的全局风格损失。
[0098]
104、对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失。
[0099]
其中,可以采用质量监控网络对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失。质量监控网络可以是一种用于监测、控制生成对抗网络输入输出之间差异的人工神经网络模型。
[0100]
该质量监控网络可以是卷积网络模型(Convolutional Neural Networks,CNN)、全连接神经网络(Full Connected Network,FNN)、(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Networks,DNN),等等。
[0101]
在一些实施例中,质量监控网络可以是任一种图像对比网络,比如,前馈神经网络(Back Propagation Neural Network,BPNN)、孪生网络(Siamese Network,SN),等等。
[0102]
具体地,在一些实施例中,该质量监控网络可以包括内容监控网络和风格监控网络;比如,该质量监控网络可以是孪生网络,该孪生网络包括内容监控网络和风格监控网络,该内容监控网络可以用于执行步骤104,该风格监控网络可以用于执行步骤105。
[0103]
例如,参照图1e,内容监控网络可以对参照图像以及样本图像进行内容对比分析,得到参照图像和样本图像之间的内容损失;风格监控网络可以对参照图像进行风格类型识别,得到参照图像的局部风格损失。
[0104]
参照图1c,质量监控网络可以监控参照图像与样本图像之间的质量损失,在一些实施例中,质量损失可以包括内容损失和局部风格损失,内容监控网络可以监控内容损失,风格监控网络可以监控局部风格损失。
[0105]
具体地,在一些实施例中,为了保证参照图像在风格类型和内容的质量,使得参照图像不发生形变、其全局风格类型表现更加均衡、稳定,参照图1f,图1f所示的是质量监控网络的网络结构,其中,深色部分为风格监控网络,浅色部分为质量监控网络,参照图像可以包括多个局部参照图像,样本图像可以 包括多个局部样本图像(在图1f中,参照图像可以包括14个局部参照图像,样本图像可以包括14个局部样本图像),在参照图像的所有局部图像中确定局部参照图像,以及,在样本图像的所有局部图像中确定局部样本图像,局部参照图像在参照图像中所处的位置和局部样本图像在样本图像中所处的位置相同;
[0106]
采用孪生网络的内容监控网络,提取局部参照图像对应的局部参照内容特征,以及提取局部样本图像对应的局部样本内容特征;
[0107]
对比局部参照内容特征和局部样本内容特征,得到局部参照图像和局部样本图像之间的局部内容损失;
[0108]
根据局部内容损失,确定参照图像与样本图像之间的内容损失。
[0109]
其中,内容监控网络可以对处于相同位置的局部参照图像和局部样本图像进行内容特征提取,比如,参照图1f,可以对同样处于第一排第四列的局部参照图像和局部样本图像进行内容特征提取。
[0110]
在一些实施例中,孪生网络中可以包括第一编码器和第二编码器,在孪生网络中,该第一编码器和第二编码器相互共享权重参数;
[0111]
其中,在一些实施例中,步骤“采用孪生网络的内容监控网络,提取局部参照图像对应的局部参照内容特征,以及提取局部样本图像对应的局部样本内容特征”可以包括以下步骤:
[0112]
采用第一编码器对局部样本图像进行内容特征提取,得到局部样本图像的局部样本内容特征;
[0113]
采用第二编码器对局部参照图像进行内容特征提取,得到局部参照图像的局部参照内容特征。
[0114]
例如,参照图1f,第一编码器可以对局部样本图像A进行内容特征提取,得到局部样本图像A的局部内容特征;第二编码器可以对局部参照图像B进行内容特征提取,得到局部参照图像B的局部内容特征。
[0115]
105、对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失。
[0116]
类似步骤104,在一些实施例中,步骤“105可以是采用孪生网络的风格监控网络,对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格 损失,以及样本图像的局部风格损失。
[0117]
具体地,步骤“采用孪生网络的风格监控网络,对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失”包括:
[0118]
在参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像,以及,在样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像,其中,第一局部参照图像和第二局部参照图像在参照图像中处于不同位置,第一局部样本图像和第二局部样本图像在样本图像中处于不同位置;
[0119]
采用孪生网络的风格监控网络,提取第一局部参照图像对应的第一局部参照风格特征,以及提取第二局部参照图像对应的第二局部参照风格特征,以及提取第一局部样本图像对应的第一局部样本风格特征,以及提取第二局部样本图像的风格特征对应的和第二局部样本风格特征;
[0120]
对比第一局部参照风格特征和第二局部参照风格特征,得到第一局部参照图像和第二局部参照图像之间局部风格损失;
[0121]
对比第一局部样本风格特征和第二局部样本风格特征,得到第一局部样本图像和第二局部样本图像之间局部风格损失;
[0122]
根据第一局部参照图像和第二局部参照图像之间局部风格损失计算参照图像的局部风格损失,以及,根据第一局部样本图像和第二局部样本图像之间局部风格损失计算样本图像的局部风格损失。
[0123]
其中,在一些实施例中,风格监控网络也可以包括第一编码器和第二编码器,第一编码器和第二编码器相互共享权重参数,步骤“采用待训练模型的风格监控网络,分别提取对第一局部参照图像、第二局部参照图像、第一局部样本图像和第二局部样本图像的风格特征,第一局部参照风格特征、第二局部参照风格特征、第一局部样本风格特征和第二局部样本风格特征”可以包括以下步骤:
[0124]
采用第一编码器对第一局部参照图像、第一局部样本图像进行风格特征提取,得到第一局部参照图像对应的第一局部参照风格特征,以及第一局部样本图像对应的第一局部样本风格特征;
[0125]
采用第二编码器对第二局部参照图像、第二局部样本图像进行风格特征提取,得到第二局部参照图像对应的第二局部参照风格特征,以及第二局部样本图像对应的第二局部样本风格特征。
[0126]
例如,参照图1f,风格监控网络的第一编码器可以对局部样本图像A进行风格特征提取,得到局部样本图像A的风格类型内容特征;风格监控网络的第二编码器可以对局部参照图像B进行风格特征提取,得到局部参照图像B的风格类型内容特征;最后,基于局部参照图像A的风格类型内容特征和局部参照图像B的风格类型内容特征预测参照图像的局部风格损失。
[0127]
106、基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络。
[0128]
在一些实施例中,在步骤102可以辨别第一参照图像的图像风格类型,故步骤106具体可以是基于质量损失和图像风格类型调整网络模型的参数,直至收敛,得到训练后模型,训练后模型包括训练后生成对抗网络。
[0129]
在一些实施例中,在步骤102可以确定第一参照图像和训练图像之间的转换损失,故步骤106具体可以是基于质量损失,以及第一参照图像和训练图像之间的转换损失调整网络模型的参数,直至收敛,得到训练后模型,训练后模型包括训练后生成对抗网络。
[0130]
在一些实施例中,在步骤102可以辨别第一参照图像的图像风格类型,以及确定第一参照图像和训练图像之间的转换损失,故步骤106具体可以是基于质量损失、图像风格类型,以及第一参照图像和训练图像之间的转换损失调整网络模型的参数,直至收敛,得到训练后模型,训练后模型包括训练后生成对抗网络。
[0131]
在一些实施例中,可以采用多种算法来调整的参数,比如,可以采用梯度下降法调整网络模型的权重参数,例如,可以采用批量梯度下降法(Batch Gradient Descent,BGD)、随机梯度下降法(Stochastic Gradient Descent,SGD)、Nesterov加速梯度法(Nesterov Accelerated Gradient,NAG)、自适应矩估计法(Adaptive Moment Estimation,Adam)等算法调整网络模型的权重参数。
[0132]
107、当获取到待处理图像时,采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0133]
在上述步骤101~106已经完成了模型训练,在步骤107可以采用该训练后生成对抗网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0134]
具体地,为了减少计算量、优化图像处理效率,训练后生成对抗网络包括了训练后正向生成网络、训练后逆向网络,当获取到待处理图像时,具体可以执行以下步骤:
[0135]
获取风格类型转换指令;
[0136]
当风格类型转换指令为正向转换指令时,采用训练后正向生成网络对待处理图像进行正向转换处理,得到风格转换后图像;
[0137]
当风格类型转换指令为逆向转换指令时,采用训练后逆向生成网络对待处理图像进行逆向转换处理,得到风格转换后图像。
[0138]
其中,风格类型转换指令中可以包括风格类型信息,该风格类型信息可以指导待处理图像转换为特定的风格类型。
[0139]
例如,参照表1,当风格类型信息为“阳光风格类型转为阴雨风格类型”,则可以将风格类型转换指令确定为逆向转换指令;当风格类型信息为“阴雨风格类型转为阳光风格类型”,则可以将风格类型转换指令确定为逆向转换指令。
[0140]
[表0001]
风格类型信息 风格类型转换指令类型
阳光风格类型转为阴雨风格类型 正向转换指令
阴雨风格类型转为阳光风格类型 逆向转换指令

[0141]
表1
[0142]
本申请实施例提供的图像处理方案可以应用在各种图像处理场景中,比如,可以通过本方案来进行迁移学习和数据增强;再比如,本方案可以用于对街景照片进行白天/黑夜风格类型的切换,等等。
[0143]
例如,针对待处理的白天街景图像,可以由技术人员收集同一街景的处于白天和黑夜的照片,根据这些照片进行模型训练,训练完成后,采用该训练后模型的训练后正向生成网络对该待处理的白天街景图像进行正向转换处理,得到转换后的黑夜街景图像。
[0144]
由上可知,本申请实施例可以获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络;采用生成网络对样本图像进行风格转换处理,得到参照图像;采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失;对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失;对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失;基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络;当获取到待处理图像时,采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0145]
在一些实施例中,可以在步骤103中辨识出样本图像的全局风格类型,并以该全局风格类型标注样本图像,再采用该标注后的样本图像训练生成网络,得到训练后生成网络,因此,本方案实施例所需的样本图像无需过多标注,就可以进行网络模型的训练,降低了搜集、整理模型训练样本所需的时间与人工成本,提高了图像处理方法的效率。
[0146]
在本申请实施例中,可以根据参照图像与样本图像之间的内容损失、参照图像的局部风格损失,以及样本图像的局部风格损失优化训练后生成网络的网络参数,使得采用该训练后生成网络生成的风格转换后图像在局部上风格一致,以及,保证了风格转换后图像在内容上没有缺漏、损坏。
[0147]
由此,本方案可以训练出优秀的生成网络,以及有效地优化该生成网络的网络质量,从而提高训练后的生成对抗网络所生成的风格转换后图像的图像质量,本方案可以提升图像处理方法所生成的风格转换后图像的质量。
[0148]
本实施例根据上述实施例所描述的方法,以下将作进一步详细说明。
[0149]
在本实施例可用于对自动驾驶的街景识别里的场景图像标准化,其中,用户的自动驾驶车辆可以采集不同时间段、不同场景(比如,白天、黄昏、黑夜、阴雨等)下的图像数据。本实施例可以将黑夜场景图像转换为白天场景图像,或者,将白天场景图像转换为黑夜场景图像
[0150]
最后,可以利用标准化后的数据进行进一步的机器学习任务训练,例如行人车辆的识别、检测,等等。
[0151]
以下将以晴天、阴天风格类型的街景图片相互转换情景为例,对本申请实施例的方法进行详细说明。
[0152]
如图2a所示,一种图像处理方法具体流程如下:
[0153]
201、获取样本图像和生成对抗网络,该生成对抗网络包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络、风格监控网络和内容监控网络,该样本图像包括晴天样本和阴天样本。
[0154]
参照图2b,样本图像为标注了天气风格类型的街景图片。
[0155]
当进行模型训练时,需获取相同街景但天气风格类型不同的一对街景图片。
[0156]
例如,标注了晴天的晴天中的杂货店X的街景图片与标注了阴天的阴天中的杂货店X的街景图片为一对图片。
[0157]
在本实施例中,包括cycle-GAN和孪生网络,其中,cycle-GAN包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络;孪生网络包括风格监控网络和内容监控网络,其中,风格监控网络和内容监控网络共享一对权重共享的编码器。
[0158]
在本实施例中,可以由技术人员设定,以及,通过服务器获取样本图像。
[0159]
在一些实施例中,还可以对样本图像进行一系列的预处理,比如,数据清洗、数据增广,等等,从而进一步提升所生成图片的质量。
[0160]
202、采用正向生成网络,对晴天样本进行风格转换处理,得到第一正向参照图像,以及采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像,以完成正循环,以及,确定晴天样本和第二正向参照图像之间的正转换损失。
[0161]
参照图2c,图2c所示的是一次正循环,其中,正向生成网络GAB可以对晴天样本进行风格转换处理,得到第一正向参照图像,以及采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像。
[0162]
然后,可以确定晴天样本和第二正向参照图像之间的正转换损失。
[0163]
其中,正转换损失约束晴天样本和由第一正向参照图像重建的第二正向参照图像相似。
[0164]
203、采用逆向生成网络,对阴天样本进行风格转换处理,得到第一逆向参 照图像,以及采用正向生成网络对第一逆向参照图像进行风格转换处理,得到第二逆向参照图像,以完成逆循环,以及,确定阴天样本和第二逆向参照图像之间的逆转换损失。
[0165]
参照图2d,图2d所示的是一次逆循环,其中,逆向生成网络可以对阴天样本进行风格转换处理,得到第一逆向参照图像,以及采用正向生成网络对第一逆向参照图像进行风格转换处理,得到第二逆向参照图像。
[0166]
其中,逆转换损失约束阴天样本和由第一逆向参照图像重建的第二逆向参照图像相似。
[0167]
204、采用正向对抗网络辨别第一正向参照图像的正向图像风格类型,以及采用逆向对抗网络辨别第一逆向参照图像的逆向图像风格类型。
[0168]
参照图2c,在一次正循环中,正向对抗网络DAB还可以辨别第一正向参照图像的正向图像风格类型
[0169]
参照图2d,在一次逆循环中,逆向对抗网络DBA还可以辨别第一逆向参照图像的逆向图像风格类型。
[0170]
205、采用风格监控网络分别监控第一正向参照图像与样本图像之间的正向局部风格损失,以及第一逆向参照图像与样本图像之间的逆向局部风格损失。
[0171]
由于生成对抗网络生成的图像在风格类型上可能会发生形变,故在此可以采用风格监控网络严格约束生成对抗网络生成的图像整体的风格类型,使得图像全局风格类型一致。
[0172]
参照图2e所示的质量监控过程,其中,风格监控网络可以分别监控第一正向参照图像与样本图像之间的正向局部风格损失,以及第一逆向参照图像与样本图像之间的逆向局部风格损失。
[0173]
其中,风格监控网络中包括串联层(Concat)、卷积层(Conv)、全局平均池化层(GAP)。
[0174]
206、采用内容监控网络分别监控第一正向参照图像与样本图像之间的正向内容损失,以及第一逆向参照图像与样本图像之间的逆向内容损失。
[0175]
由于生成对抗网络生成的图像在内容上可能会发生形变,故在此可以采用内容监控网络严格约束生成对抗网络生成的图像整体的内容,使得待转换图像 和转换后图像的内容一致。
[0176]
参照图2e所示的质量监控过程,其中,内容监控网络可以分别监控第一正向参照图像与样本图像之间的正向内容损失,以及第一逆向参照图像与样本图像之间的逆向内容损失。
[0177]
其中,内容监控网络中包括卷积层(Conv)、插值层(Interpolation)。
[0178]
其中,cA是第一参照图像中局部图像的内容特征,dA是第一参照图像中局部图像的风格特征,dA是样本图像中局部图像的内容特征,cB是样本图像中局部图像的风格特征。
[0179]
当cA和,cB经过1×1卷积层后,可以使用最近领插值的方法插值回原始输入补丁的大小以计算内容一致性损失。
[0180]
其中,风格监控网络和内容监控网络分享两个共享权重的编码器,该编码器可以将二维图像编码到特征隐空间中,其结构如表2所示:
[0181]
[表0002]
Layers Encoder Layer Info Output size
1 Conv,L-ReLU (63,3,1,2) 86x86
2 Conv,L-ReLU (128,3,1,2) 43x43
3 Conv,L-ReLU (256,3,1,2) 22x22
4 Conv,L-ReLU (512,3,1,2) 11x11

[0182]
表2
[0183]
其中,该编码器包含4层卷积层(Conv)和Leaky ReLU层(L-ReLU);其中,每层卷积层的参数信息在表2的layer Info中列出,包括通道数,卷积核大小,填充大小和步长。
[0184]
207、基于正转换损失、逆转换损失、正向图像风格类型、逆向图像风格类型、正向局部风格损失、逆向局部风格损失、正向内容损失和逆向内容损失调整的参数,直至收敛,得到训练后模型,训练后模型包括训练后正向生成网络和训练后逆向生成网络。
[0185]
此步骤参照步骤104,在此不做赘述。
[0186]
208、当获取到待处理的晴天图像时,采用训练后正向生成网络对待处理的晴天图像进行风格转换处理,得到风格类型转换后的阴天图像,以及,当获取 到待处理的阴天图像时,采用训练后逆向生成网络对待处理的阴天图像进行风格转换处理,得到风格类型转换后的晴天图像。
[0187]
经过步骤201~207,可以获得效果优秀的训练后正向生成网络GAB个训练后逆向生成网络GBA,根据GAB和GBA可以同时实现双向的图像风格类型变换。
[0188]
参照图2f,本方案中,用户可以通过前端A将待处理图像传输到后端,在后端服务器中,本方案提供的图像处理方法可以对待处理图像进行风格类型转换,最后将处理好的图像传输到前端B。
[0189]
由上可知,本申请实施例可以获取样本图像以及生成对抗网络,该生成对抗网络包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络、风格监控网络和内容监控网络,该样本图像包括晴天样本和阴天样本;采用正向生成网络,对晴天样本进行风格转换处理,得到第一正向参照图像,以及采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像,以完成正循环,以及,确定晴天样本和第二正向参照图像之间的正转换损失;采用逆向生成网络,对阴天样本进行风格转换处理,得到第一逆向参照图像,以及采用正向生成网络对第一逆向参照图像进行风格转换处理,得到第二逆向参照图像,以完成逆循环,以及,确定阴天样本和第二逆向参照图像之间的逆转换损失;采用正向对抗网络辨别第一正向参照图像的正向图像风格类型,以及采用逆向对抗网络辨别第一逆向参照图像的逆向图像风格类型;采用风格监控网络分别监控第一正向参照图像与样本图像之间的正向局部风格损失,以及第一逆向参照图像与样本图像之间的逆向局部风格损失;采用内容监控网络分别监控第一正向参照图像与样本图像之间的正向内容损失,以及第一逆向参照图像与样本图像之间的逆向内容损失;基于正转换损失、逆转换损失、正向图像风格类型、逆向图像风格类型、正向局部风格损失、逆向局部风格损失、正向内容损失和逆向内容损失调整的参数,直至收敛,得到训练后模型,训练后模型包括训练后正向生成网络和训练后逆向生成网络;当获取到待处理的晴天图像时,采用训练后正向生成网络对待处理的晴天图像进行风格转换处理,得到风格类型转换后的阴天图像,以及,当获取到待处理的阴天图像时,采用训练后逆向生成网络对待处理的阴天图像进行风格转换处理,得到风格类型转换 后的晴天图像。。
[0190]
本方案生成的图片在内容上不会发生形变,两张图像之间的图像的内容严格一致,图像整体的风格类型也严格一致,故本方案生成的图像质量高,且本方案的训练图像不需要额外标注,就可以进行模型训练,减少了数据准备所需的时间,提高了图像处理的效率。由此,本方案可以提升图像处理方法所生成图像的质量。
[0191]
为了更好地实施以上方法,本申请实施例还提供一种图像处理装置,该图像处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
[0192]
比如,在本实施例中,将以图像处理装置具体集成在服务器中为例,对本申请实施例的方法进行详细说明。
[0193]
例如,如图3所示,该图像处理装置可以包括获取单元301、初转换单元302、识别单元303、内容单元304、风格单元305、训练单元306以及再转换单元307,如下:
[0194]
(一)获取单元301:
[0195]
获取单元301可以用于获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络。
[0196]
(二)初转换单元302:
[0197]
初转换单元302可以用于采用生成网络对样本图像进行风格转换处理,得到参照图像。
[0198]
在一些实施例中,参照图像可以包括第一参照图像和第二参照图像,初转换单元302可以用于:
[0199]
采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像。
[0200]
在一些实施例中,生成网络可以包括正向生成网络和逆向生成网络,样本图像可以包括正向样本图像,第一参照图像可以包括第一正向参照图像,第二 参照图像可以包括第二正向参照图像,初转换单元302具体可以包括第一正向子单元和第二正向子单元,如下:
[0201]
(1)第一正向子单元:
[0202]
第一正向子单元用于采用正向生成网络对正向样本图像进行风格转换处理,得到第一正向参照图像。
[0203]
(2)第二正向子单元:
[0204]
第二正向子单元用于采用逆向生成网络对第一正向参照图像进行风格转换处理,得到第二正向参照图像。
[0205]
在一些实施例中,生成网络可以包括正向生成网络和逆向生成网络,样本图像可以包括逆向样本图像,第一参照图像可以包括第一逆向参照图像,第二参照图像可以包括第二逆向参照图像,初转换单元302具体可以包括第一逆向子单元和第二逆向子单元,如下:
[0206]
(3)第一逆向子单元:
[0207]
第一逆向子单元用于采用逆向生成网络对逆向样本图像进行风格转换处理,得到第一逆向参照图像。
[0208]
(4)第二逆向子单元:
[0209]
第二逆向子单元用于采用正向生成网络对第一逆向参照图像进行风格转换处理,得到第二逆向参照图像。
[0210]
在一些实施例中,初转换单元302在采用生成网络对样本图像进行风格转换处理,得到第一参照图像,以及对第一参照图像进行风格转换处理,得到第二参照图像之后,具体还可以用于:计算样本图像和第二参照图像之间的转换损失。
[0211]
(三)识别单元303:
[0212]
识别单元303,可以用于采用对抗网络,预测第一参照图像与样本图像之间的相似度,并根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
[0213]
具体地,在一些实施例中,识别单元303可以用于:
[0214]
当第一参照图像与样本图像之间的相似度属于预设正向范围时,将第一参 照图像的图像风格类型确定为第一参照图像的图像风格类型;
[0215]
当第一参照图像与样本图像之间的相似度属于预设逆向范围时,将第一参照图像的图像风格类型确定为第二参照图像的图像风格类型;
[0216]
统计第一参照图像的图像风格类型,得到统计结果;
[0217]
根据统计结果计算第一参照图像与样本图像之间的全局风格损失。
[0218]
(四)内容单元304:
[0219]
内容单元304可以对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失。
[0220]
在一些实施例中,内容单元304可以是采用孪生网络的内容监控网络,对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失。
[0221]
具体地,在一些实施例中,内容单元304具体可以包括内容局部子单元、内容特征子单元、局部内容损失子单元和内容损失子单元,如下:
[0222]
(1)内容局部子单元:
[0223]
内容局部子单元,用于在参照图像的所有局部图像中确定局部参照图像,以及,在样本图像的所有局部图像中确定局部样本图像,局部参照图像在参照图像中所处的位置和局部样本图像在样本图像中所处的位置相同;。
[0224]
(2)内容特征子单元:
[0225]
内容特征子单元,用于采用孪生网络的内容监控网络,提取局部参照图像对应的局部参照内容特征,以及提取局部样本图像对应的局部样本内容特征。
[0226]
(3)局部内容损失子单元:
[0227]
局部内容损失子单元,用于对比局部参照内容特征和局部样本内容特征,得到局部参照图像和局部样本图像之间的局部内容损失。
[0228]
(4)内容损失子单元:
[0229]
内容损失子单元,用于根据局部内容损失,确定参照图像与样本图像之间的内容损失。
[0230]
在一些实施例中,内容监控网络可以包括第一编码器和第二编码器,第一编码器和第二编码器相互共享权重参数,内容特征子单元具体可以用于:
[0231]
采用第二编码器对局部参照图像进行内容特征提取,得到局部参照图像的局部参照内容特征;
[0232]
采用第一编码器对局部样本图像进行内容特征提取,得到局部样本图像的局部样本内容特征。
[0233]
(五)风格单元305:
[0234]
风格单元305可以用于对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失。
[0235]
在一些实施例中,风格单元305具体可以用于采用孪生网络的风格监控网络,对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失。
[0236]
此时,在一些实施例中,风格单元305具体可以包括风格局部子单元、风格特征子单元、局部参照风格损失子单元、局部样本风格损失子单元和风格损失子单元,如下:
[0237]
(1)风格局部子单元:
[0238]
风格局部子单元,用于在参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像,以及,在样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像,其中,第一局部参照图像和第二局部参照图像在参照图像中处于不同位置,第一局部样本图像和第二局部样本图像在样本图像中处于不同位置。
[0239]
(2)风格特征子单元:
[0240]
风格特征子单元,用于采用孪生网络的风格监控网络,提取第一局部参照图像对应的第一局部参照风格特征,以及提取第二局部参照图像对应的第二局部参照风格特征,以及提取第一局部样本图像对应的第一局部样本风格特征,以及提取第二局部样本图像的风格特征对应的和第二局部样本风格特征。
[0241]
(3)局部参照风格损失子单元:
[0242]
局部参照风格损失子单元,用于对比第一局部参照风格特征和第二局部参照风格特征,得到第一局部参照图像和第二局部参照图像之间局部风格损失。
[0243]
(4)局部样本风格损失子单元:
[0244]
局部样本风格损失子单元,用于对比第一局部样本风格特征和第二局部样本风格特征,得到第一局部样本图像和第二局部样本图像之间局部风格损失。
[0245]
(5)风格损失子单元:
[0246]
风格损失子单元,用于根据第一局部参照图像和第二局部参照图像之间局部风格损失计算参照图像的局部风格损失,以及,根据第一局部样本图像和第二局部样本图像之间局部风格损失计算样本图像的局部风格损失。
[0247]
此时,在一些实施例中,风格监控网络可以包括第一编码器和第二编码器,第一编码器和第二编码器可以相互共享权重参数,风格特征子单元具体可以用于:
[0248]
采用第一编码器对第一局部参照图像、第一局部样本图像进行风格特征提取,得到第一局部参照图像对应的第一局部参照风格特征,以及第一局部样本图像对应的第一局部样本风格特征;
[0249]
采用第二编码器对第二局部参照图像、第二局部样本图像进行风格特征提取,得到第二局部参照图像对应的第二局部参照风格特征,以及第二局部样本图像对应的第二局部样本风格特征。
[0250]
(六)训练单元306:
[0251]
训练单元306可以用于基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络。
[0252]
在一些实施例中,初转换单元302可以用于计算样本图像和第二参照图像之间的转换损失,此时,训练单元306具体可以用于:
[0253]
基于转换损失、全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络。
[0254]
(七)再转换单元307:
[0255]
再转换单元307可以用于当获取到待处理图像时,采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0256]
在一些实施例中,训练后生成对抗网络可以包括训练后正向生成网络、训练后逆向网络,再转换单元307具体可以用于:
[0257]
获取风格类型转换指令;
[0258]
当风格类型转换指令为正向转换指令时,采用训练后正向生成网络对待处理图像进行正向转换处理,得到风格转换后图像;
[0259]
当风格类型转换指令为逆向转换指令时,采用训练后逆向生成网络对待处理图像进行逆向转换处理,得到风格转换后图像。
[0260]
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
[0261]
由上可知,本实施例的图像处理装置可以由获取单元获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络;由初转换单元采用生成网络对样本图像进行风格转换处理,得到参照图像;由识别单元采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失;由内容单元对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失;由风格单元对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失;由训练单元基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络;当获取到待处理图像时,由再转换单元采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。由此,本方案可以提升图像处理方法所生成的风格转换后图像的质量。
[0262]
本申请实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
[0263]
在一些实施例中,该图像处理装置还可以集成在多个电子设备中,比如,图像处理装置可以集成在多个服务器中,由多个服务器来实现本申请的图像处理方法。在一些实施例中,图像处理装置也可以由一台服务器来实现。
[0264]
在本实施例中,将以本实施例的电子设备是服务器为例进行详细描述,比如,如图4所示,其示出了本申请实施例所涉及的服务器的结构示意图,具体来讲:
[0265]
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
[0266]
处理器401是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
[0267]
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
[0268]
服务器还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0269]
该服务器还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0270]
该服务器还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,服务器可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0271]
尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器401会按照如下的计算机可读指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
[0272]
获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络;
[0273]
采用生成网络对样本图像进行风格转换处理,得到参照图像;
[0274]
采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失;
[0275]
对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失;
[0276]
对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失;
[0277]
基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络;
[0278]
当获取到待处理图像时,采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0279]
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0280]
由上可知,本方案可以提升图像处理方法所生成的风格转换后图像的质量。
[0281]
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机可读指令来完成,或通过计算机可读指令控制相关的硬件来完成,该计算机可读指令可以存储于一个或者多个计算机可读存储介质中,并由一个或多个处理器进行加载和执行。
[0282]
为此,本申请实施例提供一个或多个存储有计算机可读指令的非易失性存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处 理器执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该计算机可读指令可以执行如下步骤:
[0283]
获取样本图像以及生成对抗网络,生成对抗网络包括生成网络和对抗网络;
[0284]
采用生成网络对样本图像进行风格转换处理,得到参照图像;
[0285]
采用对抗网络对参照图像进行全局风格识别,确定参照图像与样本图像之间的全局风格损失;
[0286]
对参照图像和样本图像进行图像内容识别,确定参照图像与样本图像之间的内容损失;
[0287]
对参照图像、样本图像进行局部风格识别,确定参照图像的局部风格损失,以及样本图像的局部风格损失;
[0288]
基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练,得到训练后生成网络;
[0289]
当获取到待处理图像时,采用训练后生成网络对待处理图像进行风格转换处理,得到风格转换后图像。
[0290]
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
[0291]
由于该存储介质中所存储的计算机可读指令,可以执行本申请实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
[0292]
可选地,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
[0293]
应该理解的是,本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序 也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0294]
以上对本申请实施例所提供的一种图像处理方法、装置、服务器和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

权利要求书

[权利要求 1]
一种图像处理方法,执行于服务器,所述方法包括: 获取样本图像以及生成对抗网络,所述生成对抗网络包括生成网络和对抗网络; 采用所述生成网络对所述样本图像进行风格转换处理,得到参照图像; 采用所述对抗网络对所述参照图像进行全局风格识别,确定所述参照图像与所述样本图像之间的全局风格损失; 对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失; 对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失; 基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络;及 当获取到待处理图像时,采用所述训练后生成网络对所述待处理图像进行风格转换处理,得到风格转换后图像。
[权利要求 2]
如权利要求1所述的图像处理方法,所述参照图像包括第一参照图像和第二参照图像,所述采用所述生成网络对所述样本图像进行风格转换处理,得到参照图像,包括: 采用所述生成网络对所述样本图像进行风格转换处理,得到第一参照图像,以及对所述第一参照图像进行风格转换处理,得到第二参照图像; 所述采用所述对抗网络对所述参照图像进行全局风格识别,确定所述参照图像与所述样本图像之间的全局风格损失,包括: 采用所述对抗网络,预测所述第一参照图像与所述样本图像之间的相似度;及 根据所述第一参照图像与所述样本图像之间的相似度计算所述参照图像与所述样本图像之间的全局风格损失。
[权利要求 3]
如权利要求2所述的图像处理方法,所述生成网络包括正向生成网络和 逆向生成网络,所述样本图像包括正向样本图像,所述第一参照图像包括第一正向参照图像,所述第二参照图像包括第二正向参照图像; 所述采用所述生成网络对所述样本图像进行风格转换处理,得到第一参照图像,以及对所述第一参照图像进行风格转换处理,得到第二参照图像,包括: 采用所述正向生成网络对所述正向样本图像进行风格转换处理,得到第一正向参照图像;及 采用所述逆向生成网络对所述第一正向参照图像进行风格转换处理,得到第二正向参照图像。
[权利要求 4]
如权利要求2所述的图像处理方法,所述生成网络包括正向生成网络和逆向生成网络,所述样本图像包括逆向样本图像,所述第一参照图像包括第一逆向参照图像,所述第二参照图像包括第二逆向参照图像; 所述采用所述生成网络对所述样本图像进行风格转换处理,得到第一参照图像,以及对所述第一参照图像进行风格转换处理,得到第二参照图像,包括: 采用所述逆向生成网络对所述逆向样本图像进行风格转换处理,得到第一逆向参照图像;及 采用所述正向生成网络对所述第一逆向参照图像进行风格转换处理,得到第二逆向参照图像。
[权利要求 5]
如权利要求2所述的图像处理方法,所述采用所述生成网络对所述样本图像进行风格转换处理,得到第一参照图像,以及对所述第一参照图像进行风格转换处理,得到第二参照图像之后,还包括: 计算所述样本图像和第二参照图像之间的转换损失; 所述基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络,包括: 基于所述转换损失、所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络。
[权利要求 6]
如权利要求2所述的图像处理方法,所述根据所述第一参照图像与所述 样本图像之间的相似度计算所述参照图像与所述样本图像之间的全局风格损失,包括: 当所述第一参照图像与所述样本图像之间的相似度属于预设正向范围时,将所述第一参照图像的图像风格类型确定为第一参照图像的图像风格类型; 当所述第一参照图像与所述样本图像之间的相似度属于预设逆向范围时,将所述第一参照图像的图像风格类型确定为第二参照图像的图像风格类型; 统计所述第一参照图像的图像风格类型,得到统计结果;及 根据所述统计结果计算所述第一参照图像与所述样本图像之间的全局风格损失。
[权利要求 7]
如权利要求1所述的图像处理方法,所述对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失,包括: 采用孪生网络的内容监控网络,对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失; 所述对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失,包括: 采用孪生网络的风格监控网络,对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失。
[权利要求 8]
如权利要求7所述的图像处理方法,其特征在于所述采用孪生网络的内容监控网络,所述对所述参照图像和所述样本图像进行图像内容识别,包括: 在所述参照图像的所有局部图像中确定局部参照图像,以及,在所述样本图像的所有局部图像中确定局部样本图像,所述局部参照图像在所述参照图像中所处的位置和所述局部样本图像在所述样本图像中所处的位置相同; 采用孪生网络的内容监控网络,提取所述局部参照图像对应的局部参照内容特征,以及提取所述局部样本图像对应的局部样本内容特征; 对比所述局部参照内容特征和所述局部样本内容特征,得到所述局部参照图像和局部样本图像之间的局部内容损失;及 根据所述局部内容损失,确定所述参照图像与所述样本图像之间的内容损失。
[权利要求 9]
如权利要求8所述的图像处理方法,所述孪生网络的内容监控网络包括第一编码器和第二编码器,所述第一编码器和第二编码器相互共享权重参数,所述采用孪生网络的内容监控网络,提取所述局部参照图像对应的局部参照内容特征,以及提取所述局部样本图像对应的局部样本内容特征,包括: 采用所述第一编码器对所述局部样本图像进行内容特征提取,得到所述局部样本图像的局部样本内容特征;及 采用所述第二编码器对所述局部参照图像进行内容特征提取,得到所述局部参照图像的局部参照内容特征。
[权利要求 10]
如权利要求7所述的图像处理方法,所述采用孪生网络的风格监控网络,对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失,包括: 在所述参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像,以及,在所述样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像,其中,所述第一局部参照图像和第二局部参照图像在所述参照图像中处于不同位置,所述第一局部样本图像和第二局部样本图像在所述样本图像中处于不同位置; 采用孪生网络的风格监控网络,提取所述第一局部参照图像对应的第一局部参照风格特征,以及提取所述第二局部参照图像对应的第二局部参照风格特征,以及提取所述第一局部样本图像对应的第一局部样本风格特征,以及提取所述第二局部样本图像的风格特征对应的和第二局部样本风格特征; 对比所述第一局部参照风格特征和所述第二局部参照风格特征,得到所述第一局部参照图像和所述第二局部参照图像之间局部风格损失; 对比所述第一局部样本风格特征和所述第二局部样本风格特征,得到所述第一局部样本图像和所述第二局部样本图像之间局部风格损失;及 根据所述第一局部参照图像和所述第二局部参照图像之间局部风格损失计算所述参照图像的局部风格损失,以及,根据所述第一局部样本图像和所述第 二局部样本图像之间局部风格损失计算所述样本图像的局部风格损失。
[权利要求 11]
如权利要求10所述的图像处理方法,所述孪生网络的风格监控网络包括第一编码器和第二编码器,所述第一编码器和第二编码器相互共享权重参数; 采用孪生网络的风格监控网络,提取所述第一局部参照图像对应的第一局部参照风格特征,以及提取所述第二局部参照图像对应的第二局部参照风格特征,以及提取所述第一局部样本图像对应的第一局部样本风格特征,以及提取所述第二局部样本图像的风格特征对应的和第二局部样本风格特征,包括: 采用所述第一编码器对所述第一局部参照图像、所述第一局部样本图像进行风格特征提取,得到所述第一局部参照图像对应的第一局部参照风格特征,以及所述第一局部样本图像对应的第一局部样本风格特征;及 采用所述第二编码器对所述第二局部参照图像、所述第二局部样本图像进行风格特征提取,得到所述第二局部参照图像对应的第二局部参照风格特征,以及所述第二局部样本图像对应的第二局部样本风格特征。
[权利要求 12]
如权利要求1所述的图像处理方法,所述训练后生成网络包括训练后正向生成网络、训练后逆向生成网络,所述当获取到待处理图像时,采用所述训练后生成网络对所述待处理图像进行风格转换处理,得到风格转换后图像,包括: 获取风格类型转换指令; 当所述风格类型转换指令为正向转换指令时,采用所述训练后正向生成网络对所述待处理图像进行正向转换处理,得到风格转换后图像;及 当所述风格类型转换指令为逆向转换指令时,采用所述训练后逆向生成网络对所述待处理图像进行逆向转换处理,得到风格转换后图像。
[权利要求 13]
一种图像处理装置,包括: 获取单元,用于获取样本图像以及生成对抗网络,所述生成对抗网络包括生成网络和对抗网络; 初转换单元,用于采用所述生成网络对所述样本图像进行风格转换处理,得到参照图像; 识别单元,用于采用所述对抗网络对所述参照图像进行全局风格识别,确 定所述参照图像与所述样本图像之间的全局风格损失; 内容单元,用于对所述参照图像和所述样本图像进行图像内容识别,确定所述参照图像与所述样本图像之间的内容损失; 风格单元,用于对所述参照图像、所述样本图像进行局部风格识别,确定所述参照图像的局部风格损失,以及所述样本图像的局部风格损失; 训练单元,用于基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练,得到训练后生成网络;及 再转换单元,用于当获取到待处理图像时,采用所述训练后生成网络对所述待处理图像进行风格转换处理,得到风格转换后图像。
[权利要求 14]
一种服务器,包括处理器和存储器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1~12任一项所述的图像处理方法中的步骤。
[权利要求 15]
一个或多个存储有计算机可读指令的非易失性存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行权利要求1~12任一项所述的图像处理方法中的步骤。

附图

[ 图 1A]  
[ 图 1B]  
[ 图 1C]  
[ 图 1D]  
[ 图 1E]  
[ 图 1F]  
[ 图 2A]  
[ 图 2B]  
[ 图 2C]  
[ 图 2D]  
[ 图 2E]  
[ 图 2F]  
[ 图 3]  
[ 图 4]