吴子锐，杨之蒙，蒲晓蓉，徐 杰，曹 晟，任亚洲,2*

(1. 电子科技大学计算机科学与工程学院 成都 611731；
2. 电子科技大学广东电子信息工程研究院 广东 东莞 523808)

在图像的各种任务中，图像聚类[1-2]将相似图像聚在一个类，将不相似图像分开。而图像分类[3]则需判断图像属于某个类别，在图像分析任务中扮演着重要角色。近年来，随着智能手机等可手持摄像设备的普及，图像数据大幅提高。在图像的分类方法中，深度神经网络扮演着重要的角色[4-5]。但随着图像的分辨率及内容复杂度急剧增加，好的神经网络往往需要复杂的结构以及大量带标签的图像才能 训练。

针对有效神经网络结构复杂等问题，提出了大量优秀的图像分类网络，如AlexNet[6]、InceptionV3[7]等。现有的分类任务均使用这些成熟的分类网络初始化自身网络[8-9]。一般情况下，在使用已有网络参数进行模型初始化后，会添加针对于任务本身的网络结构并依据任务目标进行参数优化，如文献[10]结合了无监督深度卷积生成对抗网络表示学习算法(unsupervised representation learning with deep convolutional generative adversarial networks, DCGAN)[11]和Resnet[12]完成图像分类；
文献[13]则对MobileNet[14]进行改进，将标准卷积形式替换为深度可分离卷积进行图像分类。对于有监督的数据，标签信息可以指导参数的准确优化，而在一些真实场景中，存在标签不足、准确标记困难等问题，使获得具有良好标记训练集的代价很大。但对于无标签的复杂图像，因为缺乏强有力的模型目标，往往难以达到预期效果。

为了解决这些问题，无监督领域适应(unsupervised domain adaptation, UDA)应运而生。它的目的是将源域的带标签数据中的知识转移到无标签的目标域上，以提高目标域样本的分类预测性能。现有的无监督域适应算法主要分为两类：1) 使用深度神经网络和域之间的距离函数作为损失函数优化网络，这类方法难以找到合适的域间距离衡量标准，以及受源域样本量影响，导致模型欠拟合，如文献[15]用最大平均差异(maximum mean discrepancy,MMD)[16]来计算域间的差异；
2) 基于生成对抗网络的UDA 方法，无监督像素域适应方法(unsupervised pixel-level domain adaptation, PixelDA)[17]使用生成器生成“假”(fake)样本，并使用判别器来区分这些生成的实例是否来自目标域的样本。耦合生成对抗网络(coupled generative adversarial networks, Co-GAN)[18]使用一对生成器，前几层通过权重共享约束促使来自不同域的实例样本提取相同的语义，并在生成器的最后几层中被分解为不同的低层细节。这类模型的缺陷在于GAN 的不稳定性，利用GAN生成复杂图片需要大量的样本量以及精细的模型参数优化过程，严重影响聚类分类效率。

为此，本文提出了面向特征生成的无监督域适应算法Feature-GAN，结合DAN 方法在特征层完成域适应，模型易训练，又结合GAN 可用于特征生成，避免寻找特定域间距离衡量标准，解决了现有无监督域适应方法存在的问题。

文献[19]提出的生成对抗网络，是一个利用极小极大博弈来训练深度生成模型的框架。其目的是学习一个生成器网络G，从这个生成器中生成的样本分布PG(x)与 真实数据分布Pdata(x)相匹配。训练中判别器网络D最大化生成分布和真实分布的距离，而G致力于生成最小化这个最大距离的数据。它们的最小最大化博弈表达式为：

式(1)可优化为JS 散度[19]，JS 散度衡量两个分布的相似度，通过生成器的优化，两个分布的JS 散度降低了，即生成分布接近了真实分布。但当两个分布本来的重叠度很低时，JS 散度将维持常数[20]，目标函数的梯度为零，即对于接近最优的判别器来说，生成器很可能面临梯度消失的问题。本文根据图像分类任务的特点，即在特征空间上进行区分而不是原始数据上进行区分，提出特征生成网络(Feature-GAN)，将低维高斯噪声z加入较高维的带标签特征fs后，一起输入生成器网络中，生成同一维度的特征而不是高维原始数据，判别器网络则区分真实特征分布和生成特征分布。

对于无监督领域适应问题，通常假设有一个具有Ns个带标签样本的源域，记为Xs=，和一个具有Nt个无标签样本的目标域，记为Xt=。任务目标是训练一个能同时在源域和目标域上都取得良好分类结果的分类器。模型由特征生成对抗网络和分类器构成，网络结构如图1 所示。

图1 中，源域带标签的样本Xs和目标域不带标签的样本Xt由同一个特征提取器E1提取出特征后，源域特征Fs加入高斯噪声z经 生成器G映射成符合目标域分布的生成特征Ff，同样的源域样本与不同的噪声可以生成不同的“假”特征，可解决源域样本不足的问题。判别器D则对生成特征Ff和目标域特征Ft进行区分，经过生成器和判别器的对抗训练后就可以得到符合目标域分布的生成特征Ff，带标签的生成特征和通过另一个特征提取器E2提取的源域特征一起用于训练分类器C，得到同时适合源域和目标域的分类器。

图1 模型结构示意图

该模型可以分为以下3 部分。

1) 特征提取器：E(x;θE)→f，模型中两个特征提取网络E1和E2参数分别为 θE1和 θE2，E将源域和目标域的数据x映射成生成特征空间F上的向量f；

2) 特征生成网络(Feature-GAN)：生成器G(fs,z;θG)→f f，模型参数为 θG，将来自源域特征空间的输入fs加 入高斯噪声z后映射成符合目标域特征分布的向量f f；
判别器D(f;θD)→d，模型参数为 θD， 该函数输出给定输入特征f从目标域中采样的可能性d。判别器试图区分生成器产生的“假”特征f f和来自目标域的“真”特征ft；

3) 特征分类器：C(f;θC)→yˆ， 模型参数为 θC，训练阶段使用源域数据和生成特征训练C，测试阶段分类器C用于预测目标域数据的类别。

本文模型中生成阶段和分类阶段使用了不同的特征提取网络E1和E2。在实际训练中，E1和E2会与特征生成网络、特征分类网络一起训练，因此使用不同的特征提取器可以提取分别适合特征生成对抗网络和特征分类的特征。在本文使用的两个特征提取网络中，源域和目标域共享一个特征提取网络E1，提取的特征输入到特征生成对抗网络。另一个特征提取网络E2提取适合分类器训练的源域特征。

模型的目标函数如下：

式中， Ld为生成对抗损失，由式(3)定义；

Lc为分类任务的损失，采用交叉熵损失定义；
超参数 α控制他们之间的大小关系，有：

值得注意的是，分类器的交叉熵损失的计算同时考虑了源域特征和生成的“假”特征，比起只用生成的“假”特征训练分类器，源域特征的加入可以加快生成器的训练并保证“假”特征的类间距离。

将特征提取器加入损失函数后，模型的目标函数变为：

输出训练好的Feature-GAN 模型

Feature-GAN 模型训练好后，将待分类的目标域图像输入特征提取器E2后，再通过分类器C计算得到预测标签，即=C(E2(xt;θE2);θC)。

3.1 实验设置

3.1.1 数据集与对比算法

Office-31[21]是一个应用最为广泛的基于图片的领域适应的数据集。一共包含4 652 张图片，分为31 个类别。这些图片来自3 个不同的领域，分别为 Amazon(A)、DSLR(D)和Webcam(W)。其图像均为办公室中的日常物品，分别为amazon 网站上的商品展示图、数码单反相机拍摄的图片、经过webcam 软件处理后的图像。由于Office-31 的实例数较少，本文选取其中5 个类(Keyboard, Laptop,Mouse, Printer 和Scissors)做数据增强(即噪声添加、随机旋转和强化)以获得更多数据。每个领域都有500 个样本，每个类提供100 个样本，样本图片如图2 所示。实验中将基于这3 个领域的数据集设置6 个迁移任务。

图2 Office-31 数据集样本图片

Office-Home[22]：原始的Office-Home 数据集包含来自4 个领域的65 个类别共15500 张图像，本文选用了其中3 个领域：Clipart(C), Product(P),Real World(R)中数据量较多的7 个类(Candles,Chair, Flowers, Keyboard, Monitor, Scissors, Speaker)。其图像均为日常生活物品，这3 个域的图像分别为剪贴画、无背景的产品图像、用相机拍摄的常规图像，样本图片如图3 所示。实验中将基于这3 个领域的数据集设置6 个迁移任务。

图3 Office-Home 数据集样本图片

数据集设置如表1 所示。

表1 数据集设置

现将Feature-GAN 与以下5 种算法进行比较。

1) InceptionV3[7]：
使 用 源 域 数 据 训 练 的InceptionV3 网络进行目标域数据分类，作为对比试验的基准数据。

2) 最大化类间差异无监督域适应算法(maximum classifier discrepancy for unsupervised domain adaptation, MCD)[23]：通过最大化生成器的分类差异，避免生成器在类边界生成模糊特征。

3) PixelDA[17]：像素级别领域适应算法，将源域图像和随机噪声输入进生成器以生成符合目标域图像分布的数据。

4) 基于伪标签选择结构预测的域适应算法(unsupervised domain adaptation via structured prediction based selective pseudo-labeling, SPL)[24]：采用在特征层面完成域适应的方法，其特征提取网络参数固定，不参与训练，且在目标域的分类过程中采用了自步技巧。

5) 无监督域适应性搭建域空间的桥梁(bridging domain spaces for unsupervised domain adaptation,FixBi)[25]：引入了一种基于固定比率的混合来增加源域和目标域之间的多个中间域，逐渐将知识从源域迁移到目标域。

3.1.2 实现细节

本文实验中，MCD、SPL、FixBi 均用原作者公开的代码，PixelDA 采用github 用户eriklindernoren复现的代码。为了公平比较，本文提出的Featrue-GAN 模型中的两个特征提取网络和所有对比算法中的特征提取网络都采用InceptionV3[7]网络，其初始化参数采用ImageNet 数据集上预训练的模型参数。所有实验均在同一环境下完成，计算机处理器 的 配 置 为Intel(R) Core(TM) i7-6800K CPU @3.40 GHz，内存 10 GB，GPU 为 NVIDIA GeForce GTX 1080Ti 11 GB。在 Ubuntu 环境下配置 python环境以及 pytorch 框架。所有实验均在 python 3.7，CUDA 9.0 以及 pytorch 1.4 的框架下实现。

3.2 实验结果

模型在Office-31 和Office-Home 两个数据集上的准确率测试结果分别如表2 和表3 所示，表格中每列的最优值加粗表示。从对比实验结果可以看出，Feature-GAN 在绝大部分迁移任务上都取得了更好的结果。与InceptionV3 实验的对比说明，迁移后的特征所训练的分类器极大地优于未迁移特征所训练的分类器。与PixelDA 的对比结果说明，将生成器的任务由生成图像修改为生成特征所能带来的改善，提升率大多超过10%。与MCD 和FixBi等最新域适应算法的对比也说明了Feature-GAN 的有效性。与SPL 算法比较时，在D→A，W→A 等子实验中，由于数据集Amazon的噪声较大，而SPL 算法使用了自步域适应算法，故其精度高于其他对比算法。

表2 Office-31 数据集上的实验结果 (acc) %

表3 Office-Home 数据集上的实验结果 (acc) %

为了说明域适应过程使得目标域和源域数据更好区分的结果，图4 展示了在域适应之前和域适应之后源域及目标域的样本分布(通过t-SNE[26]进行特征可视化)，可以看到在域适应完成以后，无论是源域还是目标域，不同类别的样本分界线更明显，源域与目标域同一类别之间的样本也趋于同一分布形态。

图4 源域与目标域样本特征的分布

另外，Feature-GAN 是面向特征层面的域适应模型，图5a 展示了域适应操作的不同特征维数变化对模型的影响。在Office-Home 数据集的实验证明了本文的模型对进行域适应的特征维数的鲁棒性。当特征维度在一个较大的范围内变化时，模型可保持较为平稳的分类精度。超参数 α对模型的影响在Office-31 数据集上进行了对比实验，结果如图5b 所示，平衡系数α 的取值对模型准确率的影响较小，进一步验证了本文模型训练的稳定性。

图5 不同参数对模型acc 的影响

本文提出了图像特征层面的无监督域适应方法Feature-GAN，克服了传统域适应算法域间距离函数难以定义的问题，避免了基于样本生成的算法中训练慢、不稳定的问题。具体地，Feature-GAN通过使用源域图像的特征生成目标域图像的特征。生成的特征既拥有源域图像特征的标签，又拥有目标域的图像特征的分布。域适应过程和图像分类过程采用不同的特征提取器，避免域适应过程模糊特征类间差异。该方法参数量少，训练稳定。

猜你喜欢 源域分类器特征提取 同步定位与建图特征提取和匹配算法研究导航定位学报(2022年5期)2022-10-13少样本条件下基于K-最近邻及多分类器协同的样本扩增分类现代电子技术(2022年15期)2022-07-28学贯中西（6）:阐述ML分类器的工作流程电子产品世界(2022年4期)2022-04-21基于朴素Bayes组合的简易集成分类器①计算机系统应用(2021年2期)2021-02-23基于参数字典的多源域自适应学习算法计算机技术与发展(2020年11期)2020-12-04基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究电机与控制学报(2018年9期)2018-05-14基于AdaBoost算法的在线连续极限学习机集成算法软件导刊(2017年4期)2017-06-20基于曲率局部二值模式的深度图像手势特征提取计算机应用(2016年10期)2017-05-12从映射理论视角分析《麦田里的守望者》的成长主题青年文学家(2015年29期)2016-05-09