Użyć nowoczesnego narzędzia ingestion #3796
Description
Hej,
Aktualnie my mamy prosty skrypt Python - https://github.com/KlubJagiellonski/pola-backend/blob/master/pola-bi/postgres_to_bigquery.py. Możemy się zastanowić, aby skorzystać z istniejących narzędzi, aby łatwiej to utrzymać:
Możemy rozważyć:
- Meltano
- dlt
- sling
Pewnie najlepiej, jakby uruchamiało się na naszym GitHub Action, więc Airbyte odpada.
Przy replikacji warto uważać, aby nie replikować haseł. Spójrz: #3699
Pozdrawiam.