CV

VTMo 是一个模块化的视觉触觉 Transformer 编码器。它通过共享自注意力，以及针对单一模态和跨模态设计的专家网络，在双编码器的灵活性和融合编码器的准确率之间取得平衡。VTMo 支持纯视觉、纯触觉和视觉触觉融合任务，并在缩短训练时间、降低计算量的同时，在图像到触觉检索任务上取得了有竞争力的结果。