关于milvus的配置问题

[AriesJin]

我目前是通过3 台物理机通过 k8s 部署，每台物理机的内存是256G，存储时1T，但是我存储了700w数据就显示内存不足，向量维度时1536，存储的方式IVF_SQ8，按理说完全不应该呀，毕竟700w15364*25%=10G左右。我是不是应该datanode来提高存储的数据量，这是我的配置信息

apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
  name: milvus-db
  labels:
    app: milvus
spec:
  mode: cluster
  components:
    image: milvusdb/milvus:v2.3.5
    dataCoord:
      resources:
        limits:
          cpu: "1"
          memory: 4Gi
    queryCoord:
      resources:
        limits:
          cpu: "1"
          memory: 4Gi
    rootCoord:
      replicas: 1
      resources:
        limits:
          cpu: 1
          memory: 2Gi
    dataNode:
      replicas: 2
      resources:
        limits:
          cpu: 2
          memory: 8Gi
        requests:
          cpu: 1
          memory: 4Gi
    indexNode:
      replicas: 2
      resources:
        limits:
          cpu: 8
          memory: 16Gi
    queryNode:
      replicas: 1
      resources:
        limits:
          cpu: 4
          memory: 16Gi
        requests:
          cpu: 2
          memory: 8Gi
    proxy:
      replicas: 1
      resources:
        limits:
          cpu: 2
          memory: 4Gi
        requests:
          cpu: 1
          memory: 1Gi
  config: {}
  dependencies:
    etcd:
      inCluster:
        values:
          autoCompactionMode: revision
          autoCompactionRetention: "1000"
          extraEnvVars:
          - name: ETCD_QUOTA_BACKEND_BYTES
            value: "4294967296"
          - name: ETCD_HEARTBEAT_INTERVAL
            value: "500"
          - name: ETCD_ELECTION_TIMEOUT
            value: "25000"
          - name: ETCD_SNAPSHOT_COUNT
            value: "10000"
          - name: ETCD_ENABLE_PPROF
            value: "true"
          persistence:
            accessMode: ReadWriteOnce
            enabled: true
            size: 30Gi   #SSD Required
            storageClass:
          replicaCount: 3
          resources:
            limits:
              cpu: 2
              memory: 4Gi
            requests:
              cpu: 1
              memory: 4Gi

    msgStreamType: kafka
    kafka:
      inCluster:
        values:
          heapOpts: "-Xmx8192M -Xms8192M"
          persistence:
            enabled: true
            storageClass:
            accessMode: ReadWriteOnce
            size: 120Gi
          resources:
            limits:
              cpu: 1
              memory: 25Gi
          zookeeper:
            enabled: true
            replicaCount: 3
            heapSize: 2048  # zk heap size in MB
            persistence:
              enabled: true
              storageClass: ""
              accessModes:
                - ReadWriteOnce
              size: 20Gi #SSD Required
            resources:
              limits:
                cpu: 1
                memory: 4Gi

    storage:
      inCluster:
        values:
          mode: distributed
          resources:
            limits:
              cpu: 2
              memory: 16Gi
          persistence:
            storageClass:
            accessMode: ReadWriteOnce
            size: 1000Gi

[yhmo]

10GB只是向量这一列的IVF_SQ8索引理论用量，如果有其他字段就会额外占用内存，比如较长的字符串字段。

日志里会打印出类似日志：“load segment failed, OOM if load, maxSegmentSize = ”，这行日志会打印出目前内存用量，下一个segment加载预期用量。

[yhmo]

存储的数据量主要由存储空间决定，如果datanode内存不报警的话，你可以一直插入数据，直到minio把存储空间写满。
datanode内存太高的原因也可能是因为有大量的表，或者大量的partition，并且数据均匀地写入这些表或partition。
写入的数据会被shards_num这个值决定分为几份，然后这几份数据分别流进不同的datanode。2.3.5版本中，collection的shards_num默认好像是2，意味着每次insert的数据会被拆分成2份，进入2个datanode。所以如果你只有一个表，个datanode就足够，再多也是浪费。

[yhmo]

另外，2.3.5的后续版本里修复了一些内存相关bug，你使用2.3.5碰到的内存报警也有可能是因为内存泄漏的bug造成。
在 https://milvus.io/docs/v2.3.x/release_notes.md 这个页面里搜“memory”可以看到很多。

[AriesJin]

关于内存的问题，直接升级就可以解决把，这个我回头看看。
现在的datanode是配置了2个8G的。partition的话我是没有设置的，基本设置如下

如果需要提高我的存储数据量，那我上面的配置需要怎么改呢，机器是三台256

[yhmo]

存储数据量没有限制，只要minio/kafka的存储空间足够就行。kafka的存储用量主要跟数据插入的密集程度相关，如果你一小时内连续插入100GB数据，那么kafka也相应会写入那么多数据，kafka有自己的retention配置可影响存储的用量，在kafka的文档可查。
建议还是弄一个监控服务观察，如果不是大量的表或partition，那么datanode内存持续上升很有可能是内存泄漏的bug造成，升级到高版本能避免大部分，但由于2.3属于比较老的版本，不排除有些未知bug。

[AriesJin]

好的，谢谢