→ 源码教程下载地址见 →右侧下载链接 →点“登录购买”→注册登录购买后可见→
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
2 月 15 日消息，京东昨天在 Hugging Face 平台开源了 JoyAI-LLM-Flash 大模型，拥有 3B 激活参数以及 48B 总参数，在 20 万亿文本 Token 上进行预训练，擅长前沿知识理解、推理能力、编程、智能体等方面。
据介绍，这款模型拥有全新优化框架 FiberPO，能够将纤维丛理论（fiber bundle theory）引入强化学习，并在训练中使用 Muon 优化器，通过微调 SFT、DPO 以及强化学习（RL）进一步训练。
同时，这款模型结合了 Muon 优化器以及稠密 MTP（Multi-Token Prediction），解决了传统模型规模扩展时不稳定的问题，相比非 MTP 版本吞吐量提升 1.3x-1.7x。
附该模型详细参数如下：
| 项目 | 参数 |
| 架构 | 混合专家模型 (MoE) |
| 总参数量 | 48B |
| 激活参数量 | 3B |
| 层数（含 Dense）40 | |
| Dense 层数量 | 1 |
| 注意力隐藏维度 | 2048 |
| MoE 隐藏维度 | 768 |
| 多头注意力数量 | 32 |
| 专家个数 | 256 |
| 每 Token 专家数 | 8 |
| 共享专家数 | 1 |
| 词表大小 | 129K |
| 上下文长度 | 128K |
| 注意力机制 | MLA |
| 激活函数 | SwiGLU |
温馨提示：
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 京东开源 JoyAI-LLM-Flash 大模型：总参数 48B，激活参数 3B
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 京东开源 JoyAI-LLM-Flash 大模型：总参数 48B，激活参数 3B
