结合遮蔽与扩散机制的新型高性能文本生成语言模型
MDLM全称Masked Diffusion Language Models,是一种新型语言模型,通过结合遮蔽与扩散机制生成高质量文本。它改进了训练方法、简化了目标函数,提升了遮蔽扩散模型的性能,在语言建模基准测试中达到新的最佳水平,困惑度接近自回归模型,支持高效采样与任意长度生成,在长程依赖和可控生成方面表现优于传统同类模型。
专注AI领域研究的机构,优先开发开源人类兼容AI模型
Nous Research是一家聚焦人工智能领域的研究机构,核心研究方向覆盖模型架构优化、数据合成、大模型微调与推理技术。不同于主流的闭源大模型开发路径,该机构坚持以开源开放为核心开发原则,主打开发与人类需求兼容的AI模型,致力于打破封闭模型开发带来的技术壁垒,推动AI研究的开放共享。