SoccerDream AI ← AI 圈资讯 技巧观点

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

公众号:面壁智能(MiniCPM) ·

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。

为什么值得看

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

2 个信源交叉报道公众号:DeepSeek(深度求索)
阅读原文 · 公众号:面壁智能(MiniCPM)
本文由 SoccerDream AI 自动聚合索引,内容版权归原作者与 公众号:面壁智能(MiniCPM) 所有。
本站仅作技术动态聚合,不构成任何形式的建议。
AI 生成内容标识:本页的分析结论与文字内容由 SoccerDream AI 大语言模型自动生成,依据《人工智能生成合成内容标识办法》予以标注;赛事数据、赛果与市场指数来自公开数据源,并经系统规则校验。内容仅供研究参考,不构成任何建议。