DiT

Diffusion Transformer

Scalable Diffusion Models with Transformers

传统扩散模型的问题

1. 背景崩坏
2. 角色脸盲

传统方法：U-Net

CNN方法缺乏长距离依赖建模能力，导致高分辨率图片细节粗糙

DyDiT

1. 时间步动态宽度（TDW），轻量级路由器
2. 空间动态令牌（SDT）

MMDiT

SD3

• DiT: 架构从"U-Net"到”Transformer'”的跨越
• DyDiT: 计算从“静态”到“动态”的优化
• MMDT: 模态从“单模态”到"多模态深度交互”的升级