动作建模

艾伦AI研究所开发的单Transformer架构统一多模态大模型 该模型采用单个编码器-解码器Transformer，将图像、文本、音频、动作等不同模态的输入输出映射到共享语义空间统一处理。它从头在大规模多模态语料预训练，用多模态去噪目标优化，还在120个带提示增强的数据集微调，在GRIT基准取得SOTA，三十余个各类基准均有出色表现。