Aula 05

Nessa aula, aprendemos a:

• Refinar informações para a camada Gold;
• Utilizar um operador para transformar dados da camada Gold;
• Atualizar a DAG com a nova etapa de transformação;
• Explorar os dados da camada Gold.

Full Changelog: 0.4.0...0.5.0

Aula 04

Nessa aula, aprendemos a:

• Centralizar nossas pastas em um variável;
• Estruturar nosso data lake;
• Reestruturar nosso código.

Full Changelog: 0.3.0...0.4.0

Aula 03

Nessa aula, aprendemos a:

• Instalar o modulo Spark;
• Utilizar o SparkSubmitOperator;
• Atualizar uma DAG;
• Salvar os dados transformados pelo Spark.

Full Changelog: 0.2.0...0.3.0

Aula 02

Nessa aula, aprendemos a:

• Explorar dados utilizando o PySpark;
• Transformar dados utilizando o PySpark;
• Extrair dados utilizando o PySpark;
• Salvar dados utilizando o PySpark;
• Executar scripts utilizando o SparkSubmit.

Full Changelog: 0.1.0...0.2.0

Aula 01

Nessa aula, aprendemos a:

• Reconhecer como funciona o nosso pipeline de dados atual;
• Identificar os pontos negativos da nossa estrutura atual de Data Lake;
• Compreender como funciona a arquitetura de medalhas.

Full Changelog: https://github.com/AdautoDCJunior/apache-transformacao-dados-spark/commits/0.1.0