Perplexity 开源了新的上下文 embedding 模型 pplx-embed-v2-context-9b-preview,主要用于 RAG 检索。
常见 embedding 模型处理长文档时,通常会先把内容切成多个小块,再分别理解和编码。Perplexity 这次发布的模型改为把这些文本块一起编码,让每个块在生成向量时都能参考整篇文档的上下文。
Perplexity 举例称,如果一段文字只写着「它增长了 20%」,单独抽出来时,很难判断「它」具体指向什么。新模型可以结合文档其他部分来理解这句话。
该模型已经在 Hugging Face 开放,采用 MIT 许可证。
训练设计上,模型还专门学习同时检索答案所在段落,以及支撑答案的其他相关段落。按 Perplexity 的说法,这样后续 AI 系统拿到的不只是答案,也包括验证答案所需的证据。
在 turbopuffer 设计的 context-bench 盲测中,pplx-embed-v2-context-9b-preview 的 Answer@10 为 45.5%,比 Voyage Context 4 高 14.4 个百分点;Evidence Recall@10 为 40.6%,高 5 个百分点。
这项测试包含 38,894 篇长文档和 2,099 个查询,题目未公开。Perplexity 提到,这种设置可以降低测试集被训练数据污染的风险。
目前该模型仍处于 Preview 版本。Perplexity 也提醒,后续模型权重、接口以及生成的 embedding 都可能变化,因此现在生成的向量不一定能与未来版本直接混用。

