→ 源码教程下载地址见 →右侧下载链接 →点“登录购买”→注册登录购买后可见→
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
→ 这里没有广告，只有干货！ 给力项目更多教程，点此加入VIP会员,即可免费下载！
→ 每日分享你意想不到的网络思维！加入红帽VIP会员，感受一下网络赚钱的快感，点击进入了解。
10月5日消息，据报道，华为苏黎世的实验室发布了一种新的开源量化方法，可在不牺牲大模型输出质量的情况下，减少显存需求。
该技术名为 SINQ（Sinkhorn-Normalized Quantization），目前已在GitHub和Hugging Face上开源，采用Apache 2.0许可，允许企业和研究机构免费使用、修改和商业部署。
SINQ的核心优势在于其快速、无需校准，并且易于集成到现有模型工作流中，通过独特的量化方法，将模型的显存需求降低了60%至70%，具体取决于模型架构和位宽。
这意味着原本需要超过60GB显存才能运行的模型，现在可以在大约20GB的环境中运行。原本需要在高端企业级GPU（如A100或H100）才能运行的大模型，如今可在更经济的硬件上运行，例如单张RTX 4090。
SINQ已在多种架构和模型（如Qwen3系列、LLaMA和DeepSeek）上进行了评估，并在WikiText2和C4等基准测试中表现出色，显著降低了困惑度和翻转率。
它还支持非均匀量化方案（如NF4），并可与校准方法（如AWQ）结合使用，进一步缩小与全精度模型的差距。
在运行效率方面，SINQ的量化速度比HQQ快约两倍，比AWQ快30倍以上，非常适合对量化时间有实际限制的研究和生产环境。
温馨提示：
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 华为发布开源技术SINQ：可大幅降低大模型硬件需求！一张4090就能跑
1、如非特别声明，本内容转载于网络，版权归原作者所有！
2、本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
3、本内容若侵犯到你的版权利益，请联系我们，会尽快给予删除处理！
我要投诉
红帽SEO工作室 » 华为发布开源技术SINQ：可大幅降低大模型硬件需求！一张4090就能跑
