search by ids

[ztyf-lq]

场景

我的搜索分为两步，第一步使用全文检索融合其他步骤进行初筛。第二步在初筛的范围下进行向量搜索。

问题描述

基于我的场景，我想知道milvus是否支持在我给定id范围下搜索，我的id范围并不是固定的，因为每次初筛结果可能不同。我的第一个想法是使用filter表达式中in关键字，但是我感觉使用filter表达式可能会遇到的问题为：当我初筛的结果成百上千，甚至上万个的时候，这样会造成filter表达式过长，不知milvus对于filter表达式是否存在长度限制。我的期望是milvus存在一个提供搜索id范围的search函数，不知道milvus是否存在这样的接口？

[yhmo]

IN 和 返回过滤是两种不同的用法:

IN:

results = client.search(collection_name=collection_name,
                        data=[embedding],
                        filter = "id in [1, 2, 3, 4, 5]",
                        anns_field="embedding",
                        limit=10)

Range:

results = client.search(collection_name=collection_name,
                        data=[embedding],
                        filter = "id>1000 and id < 5000",
                        anns_field="embedding",
                        limit=10)

你是想在过滤表达式里既有in又有范围？
filter = "id in [1, 2, 3, 4, 5, 6, 7, 8 ,9] and id > 5 and id < 9", 这样好像没有什么意义吧

[ztyf-lq]

我是想用in，range对我来说没有意义。假设我我现在有文本向量和图片向量(当然我实际上这可以用混合搜索，我这边只是举一个例子)，我现在需要使用文本向量进行初筛最近的500个结果，然后在初筛得到的500个结果范围内再使用图片向量获取top100。

对于使用图片向量获取最终top100结果，我依据初筛结果获取的过滤表达式可能是“id in [1,10,24,100...]”。id的范围[1,10,24,100...]可能有几百个几千个数据id，这样的话我觉得会造成filter表达式非常长，不知道milvus有没有设置过滤表达式长度上限，并且这么长的过滤表达式，不清楚是否对时延有所影响。

我的理想方法是milvus支持这样的接口：

results = client.search(collection_name=collection_name,
                        data=[embedding],
                        ids:Union[list, str, int]= id_list,
                        anns_field="embedding",
                        limit=10)

不知道milvus是否支持，不支持的话貌似只能尝试过滤表达式了。

[yhmo]

“id in [1,10,24,100...]”这样的文本表达式的长度进本就是rpc调用时允许的请求大小，受milvus.yaml中的这个配置限制，默认64MB：

proxy:
  grpc:
    serverMaxRecvSize: 67108864 # The maximum size of each RPC request that the proxy can receive, unit: byte

可以把这个配置改大，但最终会受限于protobuf的限制，最大2GB。
几百几千个id一般也就MB级别的长度，所以离这个上限还很远。
越长的表达式解析时耗时越长，对查询延时有影响。几百个影响也不大，几千个也许稍慢点，以实测为准。

在milvus 2.5版本里支持了以id array的形式传给server，称为expression template：https://milvus.io/docs/filtering-templating.md ，就是你说的类似功能。

java sdk的用例如下：
https://github.com/milvus-io/milvus-sdk-java/blob/90b594a80c7e4cea792f7c252fb1642c76257469/examples/src/main/java/io/milvus/v2/SimpleExample.java#L108

[xiaofan-luan]

我是想用in，range对我来说没有意义。假设我我现在有文本向量和图片向量(当然我实际上这可以用混合搜索，我这边只是举一个例子)，我现在需要使用文本向量进行初筛最近的500个结果，然后在初筛得到的500个结果范围内再使用图片向量获取top100。

对于使用图片向量获取最终top100结果，我依据初筛结果获取的过滤表达式可能是“id in [1,10,24,100...]”。id的范围[1,10,24,100...]可能有几百个几千个数据id，这样的话我觉得会造成filter表达式非常长，不知道milvus有没有设置过滤表达式长度上限，并且这么长的过滤表达式，不清楚是否对时延有所影响。

我的理想方法是milvus支持这样的接口：

results = client.search(collection_name=collection_name,
                        data=[embedding],
                        ids:Union[list, str, int]= id_list,
                        anns_field="embedding",
                        limit=10)

不知道milvus是否支持，不支持的话貌似只能尝试过滤表达式了。

IN表达式可以支持到百万级别的ID，可以参考https://milvus.io/docs/filtering-templating.md，能够支持百万级别的ID查询