LLaMA生态

面向开放式视频理解的大模型，可减少生成无关文本提升效果 Vista-LLaMA是一款针对视频理解任务优化的大语言模型，通过保持视觉令牌与语言令牌的一致距离，可在不同长度文本生成场景下减少无关内容输出。该模型计算注意力权重时省略相对位置编码，放大视觉令牌对生成过程的影响，引入顺序视觉投影器捕捉视频时间关系，降低对视觉令牌的需求，在多个开放式视频问答基准测试中性能优于同类模型。