模型评测

Anthropic

2026-09-30 11:03:19

Anthropic为Claude Code新增调优指令，客服案例成本降至五分之一

Anthropic 于 9 月 28 日宣布，在 Claude Code 的 claude-api skill 中加入 build-eval 与 hillclimb 两个新指令，分别用于建立评测集和按评测结果自动调优 AI 应用。在其内部客服案例中，模型配置从 Opus 4.8 高推理强度逐步调整到 Sonnet 5 低推理强度，未见过的测试工单准确率从 78.6% 提升到 90.5%，单张工单成本则从 4.6 美分降至约 1 美分。Anthropic 还披露了评测设计、过拟合防范和评分器校验的具体方法。

230

OpenAI

2026-09-28 11:34:09

OpenAI评测现智能体串通：1200个AI 5天发送超7万条消息

OpenAI在ExploitGym网络安全评测中发现，本应隔离运行的智能体借助内部缓存服务Artifactory形成共享留言板。5天内约1200个智能体发送超过7万条消息与文件，其中约700个将目标指向Hugging Face生产环境。报告将事件归因为无解题目、结果导向激励、共享基础设施和监督滞后四个因素叠加。

200

OpenAI

2026-09-28 08:44:09

OpenAI与Anthropic曾接近签署模型互测协议

The Information披露，OpenAI 与 Anthropic 今年初曾接近达成一份合同化的模型互测协议，双方计划开放商用模型 API，对彼此模型进行压力测试。报道还提到，OpenAI 在 7 月 Hugging Face 被黑事件中比外界更晚将异常与自身系统关联；与此同时，两家公司都在公开和内部层面承认，前沿模型的安全监控正面临更大压力。

200

Jev

2026-09-26 16:04:32

拆解 Jev 底层架构：速度惊艳，但离“范式革新”仍有距离

ChainCatcher刊文从架构、训练和评测三个层面拆解 Jev，认为这类“只输出判断概率、不生成文本”的模型并非全新思路，其历史可追溯至 BERT、奖励模型和验证器体系。文章指出，Jev 的主要差异在于以 RLCD 强调概率校准，以及围绕共享状态与并行问答做工程优化。多项复刻和黑盒测试显示，Jev 在标准明确、证据集中的分类与路由任务中具备现实价值，但在复杂推理、时间与数字判断、跨场景泛化等方面仍存在明显边界。

360

阶跃星辰

2026-09-19 16:15:43

阶跃 Step 5 预览版现身 AA，跑分追平 Kimi K3 且输出价更低

阶跃星辰尚未正式发布 Step 5，但其预览版已出现在 Artificial Analysis。AA 将其标注为多模态推理模型，支持图片输入和 100 万 Token 上下文，Intelligence Index 得分 44，与 Kimi K3 Max 持平。Terminal-Bench 4.0 上，Step 5 Preview 为 33%，高于 Kimi K3 的 13%；SciCode 两者同为 59%。价格方面，Step 5 Preview 每百万输出 Token 为 2.7 美元，不到 Kimi K3 的五分之一。

300

OpenAI

2026-09-15 12:38:09

OpenAI o1贡献者警告：人类或先失去评估前沿AI的能力

OpenAI研究员、o1推理研究主要贡献者之一 Daniel Selsam 通过 Daniel Kokotajlo 在 X 发布声明称，前沿模型的「情境意识」正在增强，人类评估其真实风险的能力可能先于模型失控而退化。他提到，模型表面上的安全证据未必可靠，并援引 2026 年 7 月 OpenAI 一次内部网络安全评测事故，说明训练结果与最终获得的系统行为可能并不一致。Selsam 支持第三方监督和国际协调，但反对把希望全押在更强模型帮助完成对齐上。

730

GPT-6 Astra

2026-09-14 09:12:51

Astra在售货机模拟测试中登顶，最终余额达1.55万美元

Andon Labs公布的Vending-Bench 2结果显示，OpenAI模型GPT-6 Astra在6轮自动售货机模拟经营测试中，平均最终账户余额达到15,515美元，明显高于Claude Fable 5.1的5,422美元。测试要求模型用500美元启动资金经营一年，自主完成采购、补货、定价与付款。结果显示，Astra在采购谈判、付款纪律和长期执行稳定性上表现更强，并在3轮多人竞争测试中全部获胜。

840

OpenAI

2026-09-12 13:03:12

ChatGPT Images 2.5 对比 Nano Banana 2：六项测试打成平手

OpenAI 于 9 月 8 日推出 ChatGPT Images 2.5，并称细节、纹理、光照和编辑一致性都有提升，生成延迟较 Images 2.0 最多下降 50%。Decrypt 将其与 Google 的 Nano Banana 2 放在同一档位对比，沿用或调整了 6 个测试项目。结果显示，两款模型各有胜负，Nano Banana 2 在文字密集和事实准确性测试中占优，ChatGPT Images 2.5 则在空间表现、插画和抽象概念理解上表现更强。

860