自监督学习

Predict

无需人工标签

• 基于前置任务
• 基于对比学习
• 基于掩码重建

基于前置任务

位置预测

基于对比学习

构造正负样本，互相对比学习

SimCLR

Mono

基于掩码重建

mask 掉一部分

Beit