Linkup Research 开源稀疏嵌入模型 SPARSEUP，参数量 1.49 亿

Linkup Research 发布开源稀疏嵌入模型 SPARSEUP。该模型基于 1.49 亿参数的 ModernBERT 主干网络构建，采用 Apache 2.0 许可协议发布。

据团队报告，SPARSEUP 在 BEIR-13 基准测试上的平均 nDCG@10 得分为 56.4。团队称，这是目前已知参数量低于 1.5 亿、基于公共词汇的最强稀疏编码器。

模型权重已托管于 Hugging Face，可通过 Transformers 或 Sentence Transformers 加载。Linkup Research 表示，SPARSEUP 旨在填补 LightOn 近期发布 DenseOn 和 LateOn 模型后缺失的稀疏检索方案，并使用相同的主干网络系列和微调数据，以便对三种检索风格进行横向比较。

在速度和稀疏性方面，SPARSEUP 在 MS MARCO 数据集上平均每个查询有 47 个非零项，每个文档有 190 个。使用 Seismic 倒排索引时，单线程下每个查询约 380 微秒即可达到超过 97% 的召回率。

消息源注明为 MarkTechPost。