milvus磁盘占用过大

[AKmoex]

向milvus中单个collections中插入约2000万个768维的向量，插入500万时，磁盘就已经占用了200G，这是否正常，是哪里出了问题吗？有什么方法能够预估出理论磁盘占用量吗？

[yhmo]

如果是用的docker compose部署的standalone的话，在docker-compose.yaml同目录下会有个volumes文件夹，用du命令看一下这个文件夹下面的子文件夹各占用多少空间。

2000万768维向量=20M * 768 * 4 bytes = 60GB。索引是什么类型，如果是IVF_FLAT/HNSW的话，索引大小60+GB，加上原始数据量就是120GB。另外，insert的数据会预先存入message queue，然后再由datanode消费并持久化，在standalone中，是由一个内置的rocksdb模拟消息队列，消息队列的数据也存在本地磁盘，消息队列的数据默认保留3天，所以这块有几十GB也是可能的。

[AKmoex]

sudo du -h -d 1
133M    ./etcd
126G    ./minio
62G     ./milvus
189G    .

我今天又看了一下，似乎磁盘存储又变少了？但在insert的过程中确实磁盘占用很多。

另外我看milvus有提供一个计算磁盘占用的工具（https://milvus.io/zh/tools/sizing），我看2000万768维的向量上面计算结果是900多G，这是为什么呢？

[yhmo]

Milvus以分片(segment)管理数据，由于分片合并机制(compaction)的存在，Insert过程中伴随着很多中间文件。这些中间文件会占用很多空间，但随着milvus GC(garbage collection)机制每小时做清理，它们会被逐渐删除。当你停止insert之后，随着分片逐渐合并到预期的大小(1GB左右)，就不会再有中间文件产生。而且当构建索引任务完成，每个分片都建好索引，就不会再用索引文件产生。因此在你停止数据写入之后若干小时，硬盘用量就会被释放到正常的水平。

如果你选择的索引类型是HNSW/IVF_FLAT的话，"minio"文件夹126GB是符合预期的(原始数据量60GB+索引数据60GB)。
"milvus"文件夹62GB，也基本符合预期(插入的数据全都进入消息队列)，这个文件夹里主要是放以RocksDB实现的消息队列的数据，数据默认保留3天，你可以修改milvus.yaml里的这项来缩短这个时间:

rocksmq:
  retentionTimeInMinutes: 4320 # The maximum retention time of acked messages in RocksMQ. Acked messages in RocksMQ are retained for the specified period of time and then cleared. Unit: Minute.

Sizing Tool里，当数据量超过一定大小，它是以分布式部署的方式来估算资源，分布式部署的minio/etcd/pulsar这些都是独立服务，这些服务也能设置多副本。你看到的915GB是包括了minio/etcd/pulsar所预估的用量，主要以minio为主

[xiaofan-luan]

我们的计算器放大比是比较保守的估计
正常情况下一般需要3-5倍的存储放大，包括 日志，原始数据和索引。
现在磁盘基本不值钱，建议多给一些