遮蔽建模

结合遮蔽与扩散机制的新型高性能文本生成语言模型 MDLM全称Masked Diffusion Language Models，是一种新型语言模型，通过结合遮蔽与扩散机制生成高质量文本。它改进了训练方法、简化了目标函数，提升了遮蔽扩散模型的性能，在语言建模基准测试中达到新的最佳水平，困惑度接近自回归模型，支持高效采样与任意长度生成，在长程依赖和可控生成方面表现优于传统同类模型。