基于深度学习的跨模态迁移学习研究

EasyChair Preprint 1092

Abstract

迁移学习是一种新的机器学习方法，它主要利用已经有标注的数据集进行训练得到模型，从而对不同但是相关的问题进行求解。大数据时代数据规模的急速扩张导致了越来越严重的统计异构和标注缺失问题。标注数据缺失会导致传统监督学习出现严重过拟合问题。本文的研究工作如下：

1. 在联合结构嵌入模型（Structured Joint Embeddings）的基础上构建了潜在嵌入模型LatEm。尝试用分段线性的方法来代替SJE的线性映射。模型主要的思想是用高维语义特征代替图片的低维特征，来进行分类器的学习，从而使得训练出来的模型具有迁移性。LatEm是一种跨模态的方法，它使用通过人工注释或从大文本语料库中以无监督的方式收集的图像和类别的信息。
2. 针对LatEm中单个样本包含多个映射矩阵的情况。本文对每个矩阵所对应的损失函数进行排序，使用随机梯度向下和共轭梯度法来求得最优解。
3. 在MATLAB上实现了LatEm模型，并在AWA，CUB，Dogs三个数据集上与SJE得到的结果进行了对比。在CUB和Dogs这两个细粒度的数据集上的无标注的分类精确度分别达到了52.3%和24.5%。

Keyphrases: 多模态, 细粒度分类, 迁移学习, 零样本学习

@booklet{EasyChair:1092,
  author    = {Bozhao Guo},
  title     = {Research on Cross-model of Transfer Learning based on Deep Learning},
  howpublished = {EasyChair Preprint 1092},
  year      = {EasyChair, 2019}}