Este é o nosso ambiente de desenvolvimento para o trabalho final do bootcamp Accenture - Mulheres em Tech - Data Engineer - Azure
Aqui você encontra o kanban do nosso projeto.
Nele, é possível observar tanto a distribuição de tarefas referente aos objetivos propostos para a realização do projeto, quanto a progressão das mesmas e as suas respectivas divisões em relação às participantes da equipe.
Para a organização e gerenciamento do fluxo de trabalho, 4 etapas foram definidas no quadro kanban: Backlog, Em Produção, Em Revisão e Tarefas concluídas.
Para a organização das tarefas, além da distribuição por participante, também foram taggeadas as ferramentas envolvidas para a sua realização, evidenciando assim o tipo de atividade, podendo ser uma tarefa relativa a documentação, algum script de Spark, SQL, Python ou alguma tarefa a ser desenvolvida na Azure.
Aqui você encontra o repositório do nosso projeto, com os dados e códigos gerados.
No repositório é possível observar a pasta "data" que contém tanto os arquivos ".csv" de transações e clientes que foram fornecidos para a realização do projeto quanto os mesmos arquivos ".csvs" após serem tratados pelo processo de limpeza dos dados. Na mesma pasta, também estão disponíveis arquivos ".csv" relativos as fraudes que foram obtidos após a etapa de processamento e análise dos dados.
Também é possível verificar a pasta "code" no repositório, que contém os códigos utilizados para tratar os dados, para fazer a conexão com o banco de dados na Azure e no Power BI, scripts utilizados para criar e popular as tabelas no banco de dados, bem como scripts para filtrar e visualizar as fraudes.
Na página inicial do repositório também é possível encontrar um arquivo "yaml" que facilita o uso do Spark através do docker, assim como um arquivo de texto com os requerimentos dos módulos necessários para a reprodução dos códigos.
Por fim, também está disponível no repositório o dashboard gerado em Power BI com o relatório dos resultados obtidos no projeto.