How milvus full-text search works

[zhu3359]

how dose milvus recall doc in full-text search? Is there inverted index like elasticsearch?
milvus 使用bm25算法实现全文检索，在召回阶段是什么工作原理，是依赖倒排索引召回后使用bm25打相关性分吗？

[yhmo]

参考这篇文章：
https://milvusio.medium.com/full-text-search-in-milvus-whats-under-the-hood-9058016ea84e

[zhu3359]

基本一样

@yhmo 我看了下文档，所以可以按照下面的逻辑理解吗？

milvus在召回阶段是直接计算把query向量和文档向量做内积，如果结果是0则表示一个token都没有命中，不会召回该文档，如果>0则表示有命中的词，可以被找回参与最后的排序。底层实现并没有像es一样先使用倒排索引召回，然后用bm25算分。

[yhmo]

是的，文章里并没有提到倒排索引，纯粹按照bm25算法计算的。

[zhu3359]

是的，文章里并没有提到倒排索引，纯粹按照bm25算法计算的。

那在实际检索过程中，为了召回所有内积不为0的doc，一个query需要和当前collection中所有的doc都计算一遍内积吗？这样会不会效率比用倒排索引低？

[yhmo]

在 Milvus 中，倒排索引基于 Tantivy 实现，其性能和recall依赖主要取决于Tantivy。Full-text search依据BM25算法实现，计算出的sparse向量其实也建了索引。这两者之间的性能差异和recall不好说谁好谁坏，我觉得只能根据具体场景验证吧。

[xiaofan-luan]

Milvus在做BM25的时候，会先基于BM25分词，把数据提取出向量（本质上就是tokenize，然后根据term出现的次数定义0和1）
Query的时候，会基于query 生成query vector（tokenized，然后计算bm25公式，考虑了idf等因素）

搜索的时候，并不会暴力搜。有两种对应实现，基于向量的倒排索引，或者基于graph的图索引. 根据我们的测试，倒排索引会有几会比es快2-3倍

[zhu3359]

Milvus在做BM25的时候，会先基于BM25分词，把数据提取出向量（本质上就是tokenize，然后根据term出现的次数定义0和1） Query的时候，会基于query 生成query vector（tokenized，然后计算bm25公式，考虑了idf等因素）

搜索的时候，并不会暴力搜。有两种对应实现，基于向量的倒排索引，或者基于graph的图索引. 根据我们的测试，倒排索引会有几会比es快2-3倍

@xiaofan-luan 想问一下基于向量的倒排索引意思也是像ivfflat一样的聚堆向量吗？query向量先与每个堆的中心向量计算内积选出topK的堆（nprobe），然后堆内的每个向量与query向量内积最终选出topk

[xiaofan-luan]

并不是，可以理解为跟传统的倒排索引很像，类似于WAND或者MAXScore之类的算法