请问,我如何将 Kafka 中的 Mysql Binlog 信息同步的写入到另外一个 MySQL? #1694
-
我目前有一个需求,是将 MySQL 的数据同步到 Doris 中。 目前,由于我们有相当一部分的实时计算需求,而同步数据只是其中一小部分需求,所以打算统一走 MySQL(Source)-> Debezium -> Kafka -> Flink -> Doris (Sink)这种方式来将 MySQL 的数据同步到 Doris 中。 请问,如果是这种方式,我应该如何去做? |
Beta Was this translation helpful? Give feedback.
Answered by
fish-gangan
Dec 12, 2022
Replies: 1 comment 1 reply
-
flink cdc 直接对接的是mysql server的binlog, 而不是kafka中你采集过来的binlong。 |
Beta Was this translation helpful? Give feedback.
1 reply
Answer selected by
uniorder
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
flink cdc 直接对接的是mysql server的binlog, 而不是kafka中你采集过来的binlong。
本质上都一样,你这样的其实是已经采集好了,那就不需要flink-cdc 组件了, 直接用flink-kafka-connect 即可,然后再with中format ='canal-json' ->https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/formats/canal/