SoccerDream AI ← AI 圈资讯 产品发布

Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型

X:Unsloth (@UnslothAI) ·

Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

为什么值得看

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

阅读原文 · X:Unsloth (@UnslothAI)
本文由 SoccerDream AI 自动聚合索引,内容版权归原作者与 X:Unsloth (@UnslothAI) 所有。
本站仅作技术动态聚合,不构成任何形式的建议。
AI 生成内容标识:本页的分析结论与文字内容由 SoccerDream AI 大语言模型自动生成,依据《人工智能生成合成内容标识办法》予以标注;赛事数据、赛果与市场指数来自公开数据源,并经系统规则校验。内容仅供研究参考,不构成任何建议。