Selamat datang di proyek ETL Pipeline ini! Repositori ini berisi skrip Python untuk melakukan proses Extract, Transform, dan Load (ETL) data ke berbagai tujuan seperti file CSV, Google Sheets, dan PostgreSQL.
- Ekstraksi data dari sumber data tertentu.
- Transformasi data sesuai kebutuhan analisis atau integrasi.
- Memuat data ke:
- File CSV
- Google Sheets
- PostgreSQL
Sebelum menjalankan skrip, pastikan semua dependensi sudah terinstal. Gunakan perintah berikut:
pip install -r requirements.txt
python main.py
python -m pytest tests/ --cov=utils --cov-report=html -v
https://docs.google.com/spreadsheets/d/18q9P9ke5xo03Z1ofVJQNmwEoIdj8sK9x8086dfrMK5w/edit?usp=sharing
👇 Untuk melihat semua langkah repo dari CSV, Spreadsheets, PostgreSQL Ada di file load.py dan main.py