模型架构

开源大语言模型架构，无需自注意力，推理训练快且省显存 RWKV是一款创新开源大语言模型架构，打破主流Transformer依赖自注意力机制的设计路径，无需自注意力即可实现同等水平的模型效果，同时拥有更快的推理与训练速度，可显著降低显存占用，减少硬件资源消耗，适配更多中低显存硬件设备运行深度学习任务，目前在自然语言处理领域受到诸多开发者关注。