Unsloth 发布 MiniMax-M3.1-Flash 量化 GGUF，2-bit 版可在 150GB 内存本地运行
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在缩小 45% 体积的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行，1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%。作者称其为同尺寸最强开源模型之一，并给出 Hugging Face 权重链接与本地运行指南。
为什么值得看
原文给出自建 GGUF 量化在保留精度与压缩体积间的实测数据，以及各档位所需内存，读者可据此判断能否本地部署。
本文由 SoccerDream AI 自动聚合索引，内容版权归原作者与 X：Unsloth (@UnslothAI) 所有。
本站仅作技术动态聚合，不构成任何形式的建议。
本站仅作技术动态聚合，不构成任何形式的建议。