多模态

类型

1. 输入与输出模态不同
2. 多模态输入
3. 多模态输出

要素

• Encoder: 各模态的Encoder
• Align Strategy: 不同模态的对齐/融合方式
• LLM(Optional): 以大语言模型为核心的网络

分类

• Dual-Encoder 双塔
• Fusion
  • GLIP
  • CoCa
  • SAM
  • FLAVA
• Encoder-Decoder
• Adapted LLM