→ 源码教程下载地址见 →右侧下载链接 →点“登录购买”→注册登录购买后可见→
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
12 月 12 日消息，蚂蚁技术研究院今日宣布推出 LLaDA2.0 系列离散扩散大语言模型（dLLM），并同步公开了背后的技术报告，宣称是“业内首个 100B 扩散语言模型”。
LLaDA2.0 包含 MoE 架构的 16B (mini)和 100B (flash)两个版本，将 Diffusion 模型的参数规模首次扩展到了 100B 量级。
蚂蚁技术研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，更在代码、数学和智能体任务上展现出了超越同级自回归（AR）模型的性能。
通过创新的 Warmup-Stable-Decay（WSD）持续预训练策略，LLaDA2.0 能够无缝继承现有 AR 模型的知识，避免了从头训练的高昂成本。结合不仅限于常规 SFT 的 置信度感知并行训练（CAP）和 扩散模型版 DPO，LLaDA2.0 在保证生成质量的同时，利用扩散模型的并行解码优势，实现了相比 AR 模型 2.1 倍的推理加速，证明了在超大规模参数下，扩散模型不仅可行，而且更强、更快。
蚂蚁技术研究院在知识理解、数学、代码、推理 & 智能体等多个维度对模型进行了评估。结果显示，LLaDA2.0 在结构化生成任务（如代码）上具有显著优势，并在其他领域与开源 AR 模型持平。
LLaDA2.0 的模型权重（16B/100B）及相关训练代码均已在 Huggingface 开源，附开源地址：
https://huggingface.co/collections/inclusionAI/llada-20
温馨提示：
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0
