RingAttention

基于RingAttention训练的开源多模态大模型，支持超长序列处理 Large World Models是利用RingAttention技术训练的神经网络，专注处理长视频与长语言序列任务，旨在理解人类知识与多模态世界。它通过大规模数据集训练，实现了远超常规大模型的上下文窗口大小，目前已开源一系列70亿参数的模型，可支持处理超过100万标记的文本与视频数据，为长序列多模态任务提供了开源可行的解决方案。