LLaDA – 人大高瓴AI联合蚂蚁推出的扩散大语言模型-爱论文

LLaDA是什么

LLaDA（Large Language Diffusion with mAsking）是中国人民大学高瓴AI学院李崇轩、文继荣教授团队和蚂蚁集团共同推出的新型大型语言模型，基于扩散模型框架而非传统的自回归模型（ARM）。LLaDA基于正向掩蔽过程和反向恢复过程建模文本分布，用Transformer作为掩蔽预测器，优化似然下界实现生成任务。LLaDA在预训练阶段使用2.3万亿标记的数据，基于监督微调（SFT）提升指令遵循能力。LLaDA在可扩展性、上下文学习和指令遵循等方面表现出色，在反转推理任务中解决传统ARM的“反转诅咒”问题。其8B参数版本在多项基准测试中与LLaMA3等强模型相当，展现了扩散模型作为自回归模型替代方案的巨大潜力。

LLaDA的主要功能

高效生成文本：能生成高质量、连贯的文本内容，适用于写作、对话、内容创作等场景。强大的上下文学习能力：根据上下文快速适应新任务。指令遵循能力：能更好地理解和执行人类指令，适用于多轮对话、问答和任务执行等场景。双向推理能力：解决传统自回归模型的“反转诅咒”，在正向和反向推理任务中均表现出色，例如诗歌补全任务。多领域适应性：在语言理解、数学、编程、中文理解等多个领域表现出色，具有广泛的适用性。

LLaDA的技术原理

扩散模型框架：基于正向掩蔽过程（逐渐将文本中的标记掩蔽）和反向恢复过程（逐步恢复被掩蔽的标记）建模文本分布。支持模型用非自回归的方式生成文本，避免传统自回归模型的顺序生成限制。掩蔽预测器：用普通的Transformer架构作为掩蔽预测器，输入部分掩蔽的文本序列，预测所有掩蔽标记。让模型能捕捉双向依赖关系，而不仅仅是单向的左到右生成。优化似然下界：基于优化似然下界训练模型，在生成建模中是原理性的，确保模型在大规模数据和模型参数下的可扩展性和生成能力。预训练与监督微调：LLaDA基于预训练和监督微调（SFT）相结合的方式。预训练阶段用大规模文本数据进行无监督学习，SFT阶段基于标注数据提升模型的指令遵循能力。灵活的采样策略：在生成过程中，LLaDA支持多种采样策略（如随机掩蔽、低置信度掩蔽、半自回归掩蔽等），平衡生成质量和效率。