通过全文搜索方式创建的稀疏向量搜不出数据

[ZzLin1001]

你好，请教一下，我按照文档方式创建了BM25的稀疏向量，但是在attu里看不到数据，也检索不出东西。
创建collection代码如下：
def create_collection(milvus_cmd: MilvusCmd):
# ===== 1. 创建 Schema =====
# client = MilvusClient("./milvus_demo.db")
# 3.1. Create schema
if milvus_cmd.collection_name is None:
raise Exception('Milvus collection name is missing')

schema = MilvusClient.create_schema(
    auto_id=True,
    enable_dynamic_field=True,
    consistency_level="Strong",
)
# 3.2. Add fields to schema
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True, auto_id=True)
# 密集向量字段（BGE-M3 的密集向量维度为1024）
schema.add_field(field_name="dense_vector", datatype=DataType.FLOAT_VECTOR, dim=1024)
# 稀疏向量字段
schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR)
# chunk的 uuid
schema.add_field(field_name="chunk_id", datatype=DataType.INT64)
# chunk的原文信息
schema.add_field(field_name="chunk_text", datatype=DataType.VARCHAR, max_length=65535, enable_analyzer=True)
# 原文件 id
schema.add_field(field_name="file_id", datatype=DataType.INT64)
# knowledge_base id
schema.add_field(field_name="kb_id", datatype=DataType.INT64)

client = MilvusClient(uri=configer.milvus.get("uri"), db_name=milvus_cmd.db_name)

# ===== 2. 准备向量索引参数 =====
index_params = client.prepare_index_params()
index_params.add_index(
    field_name="dense_vector",
    index_type="HNSW",
    metric_type="IP",
    params={"M": 16, "efConstruction": 200}  # 十万级以下数据量
)
index_params.add_index(
    field_name="sparse_vector",
    index_type="SPARSE_INVERTED_INDEX",
    metric_type="BM25",
    params={
        "inverted_index_algo": "DAAT_MAXSCORE",
        "bm25_k1": 1.2,
        "bm25_b": 0.75
    }
)

# ===== 3. 创建标量索引 =====
index_params.add_index(
    field_name="chunk_id",
    index_type="INVERTED",
)
index_params.add_index(
    field_name="file_id",
    index_type="INVERTED",
)
index_params.add_index(
    field_name="kb_id",
    index_type="INVERTED",
)

# 创建BM25函数
bm25_function = Function(
    name="text_bm25_emb", # Function name
    input_field_names=["chunk_text"], # Name of the VARCHAR field containing raw text data
    output_field_names=["sparse_vector"], # Name of the SPARSE_FLOAT_VECTOR field reserved to store generated embeddings
    function_type=FunctionType.BM25, # Set to `BM25`
)

schema.add_function(bm25_function)

# ===== 4. 创建集合并加载向量索引 =====
client.create_collection(
    collection_name=milvus_cmd.collection_name,
    schema=schema,
    index_params=index_params  # 仅加载向量索引
)

创建出来之后，collection的schema是可以看到sparse_vector的，但是看不到数据列和数据：


按文档描述，只要chunk_text插入成功了，稀疏向量就应该同时写入了对吧？但是为什么看不见sparse_vector这个field，也没有数据呢？

我尝试以原文去搜，也搜不出来，代码如下：
def sparse_recall():

search_params = {
    'params': {'drop_ratio_search': 0.2},
}
expr = f"kb_id in ([104])"
milvus_connector1 = MilvusConnector("kb_rag_collection_bak")
with milvus_connector1 as connector:
    collection = connector.collection

    results = collection.search(
        data=['引擎重构'],
        anns_field='sparse_vector',
        limit=3,
        param=search_params,  # 返回的字段
        expr=expr
    )
    # results = collection.query(
    #     output_fields=["*"],
    #     expr=expr
    # )
    logger.info(f"sparse_recall:{len(results)}")

但是chunk和原文是存在的，当我全量query的时候：

请问是我理解不对吗？milvus自带的稀疏向量搜索是怎么使用的？
我用的版本是 pymilvus==2.5.5

麻烦帮我看下，谢谢！

[xiaofan-luan]

1. 如果你只是expr做query，可以拿到数据么？
2. 中文的话，建议是用jieba作为分词器件。
3. 你搜到的是空结果么？你是用的MilvusLite搜索？

[ZzLin1001]

1、如果你只是expr做query，可以拿到数据么？

• 是的，我后面两张debug的截图就是用同样的expr，query能拿到数据；

3、你搜到的是空结果么？你是用的MilvusLite搜索？

• 搜索出来是空结果，debug看是空数组；我部署的是standalone版本，Milvus version 2.5.6；
• 我之前是用MivusClient.load_collection(collection_name)，再query的，但是load_collection死活拿不到collection，一直返回空，我list_collections都能看到colelction，我调了一天也不知道为什么，我看源码里面虽然是异步，但是await了应该可以同步调，我就搞不懂了。后来放弃了，转用pymilvus.Collection.search来搜的。

2、中文的话，建议是用jieba作为分词器件

• 请问文档是这个吗？https://milvus.io/docs/zh/chinese-analyzer.md#Definition

4、另外我想确认一点，就是我已经把稀疏向量这一列建好了，chunk的原文也插入成功了，但是不管在attu上还是我自己query出来，都没有sparse_vector这一列，这是对的吗？是这一列是milvus内置了无法查看？还是理论上即使分词没对，还是应该能看见这一列并显示空值？我不知道这个稀疏向量是我哪一步出了问题，collection的状态我看了是loaded。

感谢您答复！

[yhmo]

通过BM25 Function产生的sparse向量并不会显示在attu里，可以通过schema看到这个sparse vector字段，但不会显示它的数据，这是设计上如此。
搜索的时候你只需输入文本，milvus会帮你计算出其稀疏向量，然后在那个sparse vector字段中搜索，所有的搜索行为都在后台，用户输入的是文本，输出的也是对应的varchar字段的文本，而不是输出sparse向量。

[yhmo]

你的代码至少有两处问题：

1. MilvusClient.create_schema()里设置consistency_level，没有这种用法。文档里明确说明是在client.create_collection()里设置： https://milvus.io/docs/consistency.md#Set-Consistency-Level
2. 你的chunk_text字段是中文，默认的tokenizer是英文，对中文无效。中文的数据需要使用jieba tokenizer: https://milvus.io/docs/jieba-tokenizer.md

试试下面这个代码，我在你的代码基础上仅改了上述两处，输出结果是稳定的：

import random

from pymilvus import (
    MilvusClient, DataType, 
    Function, FunctionType,
)

client = MilvusClient(uri="http://localhost:19530", user="root", password="Milvus")
print(client.get_server_version())

schema = MilvusClient.create_schema(
    auto_id=True,
    enable_dynamic_field=True,
)
# 3.2. Add fields to schema
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True, auto_id=True)
# 密集向量字段（BGE-M3 的密集向量维度为1024）
schema.add_field(field_name="dense_vector", datatype=DataType.FLOAT_VECTOR, dim=1024)
# 稀疏向量字段
schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR)
# chunk的 uuid
schema.add_field(field_name="chunk_id", datatype=DataType.INT64)
# chunk的原文信息，这里设置了jieba tokenizer
analyzer_params = {
    "tokenizer": "jieba"
}
schema.add_field(field_name="chunk_text", datatype=DataType.VARCHAR, max_length=65535, enable_analyzer=True, analyzer_params = analyzer_params)
# 原文件 id
schema.add_field(field_name="file_id", datatype=DataType.INT64)
# knowledge_base id
schema.add_field(field_name="kb_id", datatype=DataType.INT64)


# ===== 2. 准备向量索引参数 =====
index_params = client.prepare_index_params()
index_params.add_index(
    field_name="dense_vector",
    index_type="HNSW",
    metric_type="IP",
    params={"M": 16, "efConstruction": 200}  # 十万级以下数据量
)
index_params.add_index(
    field_name="sparse_vector",
    index_type="SPARSE_INVERTED_INDEX",
    metric_type="BM25",
    params={
        "inverted_index_algo": "DAAT_MAXSCORE",
        "bm25_k1": 1.2,
        "bm25_b": 0.75
    }
)

# ===== 3. 创建标量索引 =====
index_params.add_index(
    field_name="chunk_id",
    index_type="INVERTED",
)
index_params.add_index(
    field_name="file_id",
    index_type="INVERTED",
)
index_params.add_index(
    field_name="kb_id",
    index_type="INVERTED",
)

# 创建BM25函数
bm25_function = Function(
    name="text_bm25_emb", # Function name
    input_field_names=["chunk_text"], # Name of the VARCHAR field containing raw text data
    output_field_names=["sparse_vector"], # Name of the SPARSE_FLOAT_VECTOR field reserved to store generated embeddings
    function_type=FunctionType.BM25, # Set to `BM25`
)

schema.add_function(bm25_function)

collection_name = "AAA"
# ===== 4. 创建集合并加载向量索引 ===== consistency_level在这里设置
client.drop_collection(collection_name=collection_name)
client.create_collection(
    collection_name= collection_name,
    schema=schema,
    consistency_level = "Strong",
    index_params=index_params  # 仅加载向量索引
)

texts = [
    "向量数据库", "向量搜索引擎", "飞机引擎", "什么是向量", "哪里有飞机引擎", "重构向量数据库", "引擎被重构"
]
data = [
    {"dense_vector": [random.random() for _ in range(1024)], "chunk_id": k, "chunk_text": texts[k], "file_id": k, "kb_id": 104} for k in range(len(texts))
]
client.insert(collection_name=collection_name, data=data)

search_params = {
    'params': {'drop_ratio_search': 0.2},
}
expr = f"kb_id in [104]"

results = client.search(
    collection_name=collection_name,
    data=['引擎重构'],
    anns_field='sparse_vector',
    limit=3,
    search_params=search_params,  # 返回的字段
    filter=expr,
    output_fields=["chunk_text", "chunk_id"]
)
print("search results:")
for res in results:
    for r in res:
        print(r)

输出：

2.5.11
search results:
{'id': 458650722253406386, 'distance': 1.886965036392212, 'entity': {'chunk_text': '引擎被重构', 'chunk_id': 6}}
{'id': 458650722253406385, 'distance': 1.018870234489441, 'entity': {'chunk_text': '重构向量数据库', 'chunk_id': 5}}
{'id': 458650722253406382, 'distance': 0.7092851400375366, 'entity': {'chunk_text': '飞机引擎', 'chunk_id': 2}}

[yhmo]

另外，我使用的是milvus v2.5.11 stanalone。如果你的milvus服务端是使用milvus-lite的话，milvus-lite暂时还不支持BM25 Function。这里是相关issue: milvus-io/milvus-lite#293

[ZzLin1001]

您的代码是对的，我能搜到了！是我文档看漏了，抱歉。非常感谢您的帮助，不然我真卡在这不知道怎么继续了，再次感谢！

不好意思再问两个问题：
1、我的知识库大多是系统设计文档，所以可能token有中文，也有英文，比如表字段，方法名，甚至代码，用jieba可以覆盖这部分吗？
2、Milvus是否没有类似MySql的Alter table update column 这种运行时 update schema add field 这种操作？因为我之前建collection schema的时候没有考虑到一些场景，后面需求变了要加field，但是如果不能热修改，我就得先迁移数据，再重建表，再把数据迁移回去，是否只能这样？

[yhmo]

单个文本里中英文混杂的情况，用jieba分词也可以的。但如果是单个文本里中日韩混杂，就没法处理。对于有的文本中文，有的文本日文，有的文本韩文的情况，可以用multi-analyzer处理：https://milvus.io/docs/multi-language-analyzers.md

Add Field这个功能会在milvus v2.6版本里有，但2.5没有这个功能。在2.5里如果collection schema是enabled的话，insert数据时可以临时增加field，那些临时增加的field value其实是存在一个特殊的JSON字段中，对于这些临时field value的过滤或者取值性能会比较差 https://milvus.io/docs/enable-dynamic-field.md#Enable-dynamic-field

[ZzLin1001]

了解了，谢谢大佬！