多模态 系列

目录 #

Stage1: 模块独立[2] #

{% asset_img ’’ %}

stage1.webp

model #

  • CLIP
  • ViLT
  • ALBEF

Stage2: 模块共享[2] #

model #

  • VLMO
  • BLIP
  • BLIP2
  • BEiTv3

Stage3: 范式统一[2] #

model #

  • Unified-IO
  • Uni-Perceiver
  • PaLi

总结 [1] #

{% asset_img ’’ %}

multimodal.webp

参考 #

Overview #

  1. 多模态大模型 CLIP, BLIP, BLIP2, LLaVA, miniGPT4, InstructBLIP 系列解读 ***

  2. [Transformer 101系列] 多模态的大一统之路 ***

1xx. 多模态论文串讲 *** 多模态论文串讲:ALBEF & VLMo & BLIP & CoCa & Beit V3

1xx. 图生文多模态大模型开源项目回顾:兼看20240307大模型进展早报

1xx. 图文多模态大模型综述

1xx. Multimodality and Large Multimodal Models (LMMs) 多模态和多模态大模型 (LMM)[译] CLIP Flamingo

1xx. 写在多模态征服一切之前(未来数据和模型应该是什么样的?)