ViT

要点:1、DualToken-ViT将卷积和自注意力联合使用，分别提取局部和全局信息，再将两者输出融合形成有效的注意力结构。2、使用位置感知全局令牌提升全局信息质量，令牌中还包含图像位置信息，有利于视觉任务。3、在相同FLOPs下，DualToken-ViT在图像分类、目标检测和语义分割任务上表现最好。