SoccerDream AI ← AI 圈资讯 论文研究

OpenAI 训练并部署激活分类器作为前沿模型安全监控层

OpenAI:Alignment 研究博客(RSS) ·

OpenAI 自 GPT-5.6 起在其最强模型的内部和外部流量上部署激活分类器(probes),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示 probes 比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好,但需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。

为什么值得看

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

阅读原文 · OpenAI:Alignment 研究博客(RSS)
本文由 SoccerDream AI 自动聚合索引,内容版权归原作者与 OpenAI:Alignment 研究博客(RSS) 所有。
本站仅作技术动态聚合,不构成任何形式的建议。
AI 生成内容标识:本页的分析结论与文字内容由 SoccerDream AI 大语言模型自动生成,依据《人工智能生成合成内容标识办法》予以标注;赛事数据、赛果与市场指数来自公开数据源,并经系统规则校验。内容仅供研究参考,不构成任何建议。