milvus 支持多节点集群部署吗 非k8s

[ClearSeve]

milvus 支持多节点集群部署吗 非k8s

[yhmo]

可以是可以，就是维护起来头疼，且必须配以pulsar/kafka/minio/etcd这些服务。
milvus的进程可以一个角色启动，比如用docker compose启动一个proxy节点，ETCD_ENDPOINTS/MINIO_ADDRESS/PULSAR_ADDRESS 这些要设置好IP

version: '3.5'
services:
  proxy:
    container_name: milvus-proxy
    image: milvusdb/milvus:v2.5.6
    command: ["milvus", "run", "proxy"]
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/milvus.yaml:/milvus/configs/milvus.yaml
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    environment:
      ETCD_ENDPOINTS: 127.127.127.127:2379
      MINIO_ADDRESS: 127.127.127.127:9000
      PULSAR_ADDRESS: 127.127.127.127://pulsar:6650
    ports:
      - "19530:19530"
      - "9091:9091"
      

在另外一台机器上启动一个rootcoord节点，ETCD_ENDPOINTS/MINIO_ADDRESS/PULSAR_ADDRESS 这些要设置好IP

version: '3.5'
services:
  rootcoord:
    container_name: milvus-rootcoord
    image: milvusdb/milvus:v2.4.6
    command: ["milvus", "run", "rootcoord"]
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/milvus.yaml:/milvus/configs/milvus.yaml
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    environment:
      ETCD_ENDPOINTS: 127.127.127.127:2379
      MINIO_ADDRESS: 127.127.127.127:9000
      PULSAR_ADDRESS: 127.127.127.127://pulsar:6650

然后把其他节点都启动，它们所在的机器要在同一个局域网里，理论上它们会把自己的地址注册到etcd里，然后互相通讯，最终组成一个集群。搭建过程痛苦，需要各种观察改配置才能连通。这么做没什么意义，也没人这么玩。

[ClearSeve]

我其实是为了生产环境高可用，还有没有其他方式呢（不用k8s），类似于主备也可以，防止单节点故障数据丢失

[yhmo]

可以看看这个 https://github.com/zilliztech/milvus-cdc

[ClearSeve]

可以看看这个https://github.com/zilliztech/milvus-cdc

感谢我看一下

[curiscold]

请问大佬现在是怎么做的呢，备机cdc同步主机，主机宕机恢复后从备机同步？
我看到早年有基于keepalived和shared storage实现的高可用方案，这个感觉更简陋但是简单一些。

[xiaofan-luan]

milvus 2. 0就是一套纯k8s的方案，没有K8s的话可能就只适合单机跑跑了。这个不是我们设计的目标