AI 搜索公司 Parallel 用自身搜索业务中的真实案例，测试了 Jev、Perplexity、OpenAI Decisions 等 8 款决策模型，任务覆盖网页变化是否重要、低质内容过滤、搜索索引选择，以及搜索结果排序。
直接使用初始提示词时，Jev 在四项任务中的平均排名第一，Perplexity 排名第二，OpenAI 排名第五。
网页变化识别被列为最难任务
Parallel 表示，四项测试里最难的是判断网页变化是否值得重新处理。举例来看，招聘信息如果只是调整了两条要求的顺序，可能不需要更新；但排行榜名次发生变化，则值得重新抓取。
这项测试采用同时衡量误报和漏报的综合指标，分数越高越好。初始结果中，Perplexity 得分 93.3，Jev 为 87.9，OpenAI 为 79.0。
Claude 参与提示词优化，OpenAI 提升明显
随后，团队让 Claude 帮各个模型改进提示词。以网页变化识别为例，团队先准备了 800 条人工标注案例，让 Claude 检查模型的错误判断，再针对容易出错的情况补充规则。整个过程连续尝试 5 轮，每一轮只保留成绩更好的版本。
在独立测试集上，OpenAI 的网页变化识别分数从 79.0 提高到 88.8，Rune 26B 从 74.1 升至 83.9，Nimble 9B 从 65.1 升至 75.3，三款模型都提高了约 10 分。
如果把网页变化识别、低质内容过滤和查询路由三项任务合并计算平均分，Perplexity 从 97.3 升至 97.6，Jev 从 95.5 升至 96.5，OpenAI 则从 88.7 提高到 95.1。
Parallel 称，8 款模型的平均分全部提高，但原本领先的模型进步有限，OpenAI 明显缩小了差距，优化后排在第三。
搜索排序单独计算，小型微调模型成绩更高
剩下的搜索排序任务被单独计算。优化提示词后，Jev 排在前列的搜索结果与人工标注结果的重合率达到 71.45%，Perplexity 为 70.68%。
不过，Parallel 自己微调的一款小型排序模型达到 75.21%，比 Jev 高约 3.8 个百分点，每 Token 推理成本也只有 Jev 的约四分之一。
Parallel 同时提到，这种方案的代价是需要自行收集标注数据、训练并部署模型。对于需要反复处理的大量固定任务，专门训练的小模型仍可能更划算。