Paper: Bi-directional Distribution Alignment for Transductive Zero-Shot Learning
Authors: Zhicai Wang, Yanbin Hao, Tingting Mu, Ouxiang Li, Shuo Wang, Xiangnan He
Code: GitHub
Framework:
Zero-shot Learning (ZSL)
Hugo Larochelle, Dumitru Erhan, and Yoshua Bengio. Zerodata learning of new tasks. In AAAI, volume 1, page 3, 2008. 1
目标
解决训练时缺少例子或标签的问题
Conventional ZSL / Inductive ZSL
核心挑战
在存在Class Relevance的条件下，使得分类器能从 Seen Classes 提取信息迁移到 Unseen Classes 当中
Class Relevance 通常作为 Auxiliary Data 提供
Auxiliary Data 可以为人工标注、文字描述、知识图谱或 Formal Description of Knowledge（如嵌入向量）
Domain Shift Problem
仅从 Auxiliary Data 学习容易导致 Unseen Classes 的真实分布与其建模分布之间存在差异
Proposed: Transductive ZSL (TZSL)
- 允许在训练中额外加入为目标类别收集的无标签示例
Generative Models
作用
- Synthesize Examples 合成样本
- Learn the Unseen Data Distribution 学习 unseen 数据分布
分类
- Unconditional Generation
- Conditional Generation
Auxiliary 信息是信息量更丰富的类标签，通过 Auxiliary 信息作为 Condition，可以学习到 Data-Auxiliary 联合分布，这连接了 Visual 空间和 Auxiliary 空间，使得生成器具有信息迁移的能力
难点
将 seen classes 所学迁移到 unseen classes
f-VAEGAN
提出方法
- Transductive Regressor
Normalization - Class Prior Estimation (CPE)
架构
VAE 编码器，得到 维隐藏表征向量 条件生成器，以类别属性为条件，从正态分布采样 维向量用于视觉特征生成 Wasserstein GAN（WGAN）的判别器，用于 seen classes WGAN 的判别器，用于 unseen classes 映射视觉空间到特征空间的 Regressor WGAN 的判别器，用于特征判别
Workflow
Level-1
和 对抗性训练 Level-2
和 、 对抗性训练