Linkup Research 发布开源稀疏嵌入模型 SPARSEUP，参数量 1.49 亿

Techub News 消息，研究团队 Linkup Research 发布开源稀疏嵌入模型 SPARSEUP。该模型基于 1.49 亿参数的 ModernBERT 主干网络构建，采用 Apache 2.0 许可协议发布。据团队报告，其在 BEIR-13 基准测试上的平均 nDCG@10 得分为 56.4，并称这是目前已知参数量低于 1.5 亿、基于公共词汇的最强稀疏编码器。 模型权重已托管于 Hugging Face，可通过 Transformers 或 Sentence Transformers 加载。该模型旨在填补 LightOn 近期发布 DenseOn 和 LateOn 模型后缺失的稀疏检索方案，使用相同的主干网络系列和微调数据，以便进行三种检索风格的横向比较。 在速度与稀疏性方面，SPARSEUP 在 MS MARCO 数据集上平均每个查询有 47 个非零项，每个文档有 190 个。使用 Seismic 倒排索引时，单线程下每个查询约 380 微秒即可达到超过 97% 的召回率。（MarkTechPost）