对比学习（Contrastive Learning）

对比学习（Contrastive Learning）是一种自监督表征学习方法，其核心思想是：拉近相似样本的表征，推远不相似样本的表征。本文对几种经典的对比学习损失函数进行解读。

1. Max Margin Contrastive Loss

Max Margin Contrastive Loss 的设计思路如下：

• 当两个样本属于同一分布时，通过指示函数的作用，最小化二者之间的距离。
• 当两个样本不属于同一分布时，公式的后半部分起作用：
  • 如果两个样本的相似度差别很大（符合预期），不产生损失，该项取 0。
  • 如果两个样本的相似度差别不大（不符合预期），则产生一定的损失。
  • 极端情况下，两个样本完全相似时，损失最大，为 $\epsilon$。设置上界 $\epsilon$ 是为了防止单对样本对最终损失函数的影响过大。

2. Triplet Loss

Triplet Loss 需要三元组输入：锚点（Anchor）、正样本（Positive）和负样本（Negative）。其目标是使锚点与正样本的距离小于锚点与负样本的距离，并保持一个最小间隔 margin。

3. N-pair Loss

N-pair Loss 是 Triplet Loss 的推广，它同时考虑多个负样本，有效提升了训练效率。关键理解：

• 点积可以看作余弦相似度（在向量归一化后）。
• 当 $a, b > 0$ 时，$a/b$ 和 $a - b$ 是等价的优化方向。

4. 思考

参考资料

• The Beginner's Guide to Contrastive Learning
• Contrastive Representation Learning