Milvus 分片查询 大数据量Collection方案

[phstan]

请问在milvus中如何快速查询一个Collection中的所有数据？

想到的问题和解决方案是：数据量过大时，遍历性能慢；可以通过将一个Collection水平分片为多个，来并发查询。
但是目前根据Milvus的特性和功能难以实现，问题点：

1. 无法查min max值，导致无法根据min max值 差值来计算分片范围，实现分片查询；
2. 无法order by， order by pk desc limit 1，查询每次分片的最大值，实现分片查询；
3. 查询时指定limit + offset不能超过16384，导致没有办法通过limit + offset来分片查询；

有其他办法来实现分片查询吗？

[xiaofan-luan]

1. 即使能拿到minmax，也并不解决问题，因为milvus并不按照min max分片数据。

使用iterator有什么问题么？

[phstan]

想性能更快，未分片前1个线程通过iterator 遍历，但分片100份之后，100个线程来遍历就会快很多

[xiaofan-luan]

这个理论上可以通过segment来分片，目前还没支持这个能力，有一些实现复杂度

[phstan]

min max拿到之后， (max - min) / splitNum = step
query可以用expr来过滤，比如第一个分片，min <= pk < min + step

[phstan]

包括我了解了这个工具，通过是的offset + limit，但是绕不开Milvus的限制，offset + limit之和不能超过16384
https://github.com/zilliztech/vts/blob/master/seatunnel-connectors-v2/connector-milvus/src/main/java/org/apache/seatunnel/connectors/seatunnel/milvus/source/MilvusSourceSplit.java

[xiaofan-luan]

offset + limit不解决你的问题，目前最好的方式就是想办法在iterator上加并发，忽略排序工作。
那最大最小值这个功能后面也会提供，暂时看起来不太好绕

[phstan]

iterator上加并发是指什么？

[xiaofan-luan]

这个需要在milvus里做一些开发工作的，在roadmap上，暂时还没有人力投入

[phstan]

改maxQueryResultWindow为一个很大的值，是不是可以解决offset + limit限制不能超过16384。来实现分片

[phstan]

Int64类型作为主键，并创建了索引，类型为STL_SORT或者AUTOINDEX，如果没有增量数据写入，查询结果一定是按Int64的PK有序的吗

[yhmo]

milvus的数据都以segment管理，据我所知，在2.3/2.4这些版本里不会对pk做排序。在2.5版本里，在每个segment内部对pk做了排序，也就是说，每个segment内部的数据是按pk排序，但全局并不保证。
比如，segment_1里的pk按这个顺序排 [2, 5, 7, 9, 10, 50]， segment_2里的pk按这个排 [1, 3, 8, 20, 100]

[phstan]

内部相当于就是通过segment进行分片管理数据了，那这个segment如果能对外透出，对外就相当于提供了分片查询的能力了

[yhmo]

对用户提供的分块查询可使用partition的方式来做，segment是内部管理数据的单位，外部无法指定单个segment访问。