Projects

我们研究了任意二维刚体的推动动力学，并用 Franka Panda 机械臂在仿真环境中采集的数据训练神经网络。与浅层 MLP 相比，受点云模型启发的深层网络能更好地拟合不同形状物体的运动。将学习到的模型接入模型预测路径积分（MPPI）控制器后，系统可以完成闭环推动和避障。

VTMo 是一个模块化的视觉触觉 Transformer 编码器。它通过共享自注意力，以及针对单一模态和跨模态设计的专家网络，在双编码器的灵活性和融合编码器的准确率之间取得平衡。VTMo 支持纯视觉、纯触觉和视觉触觉融合任务，并在缩短训练时间、降低计算量的同时，在图像到触觉检索任务上取得了有竞争力的结果。

我们提出了单步树状思维框架，把多步推理压缩到一个结构化提示中，再通过知识蒸馏将大语言模型的推理能力迁移给参数量更小的模型。在 24 点任务中，这一方法显著提高了小模型的推理表现，实验结果超过 GPT-4o 和 GPT-4。