v1.6.2

Changelog

• inclusão do parâmetro dataset_is_public #1020
• datasets *_staging agora são privados por default #1020
• parâmetro location define localização da criação dataset #1020
• retry de 10x ao fazer upload para o Storage #1020
• small path fix to dataset_config.yaml #1067
• criamos campos novos (e.g. observation_level, short_description, etc), matamos campos (e.g. entity, time_unit, etc). #1093
• fizemos o campo dataset_id não ser automaticamente criado em dataset_config.yaml. #1093
• o parametro columns_config_url virou columns_config_url_or_path e agora suporta carregamento de tabela de arquitetura local
• fix empity list as partition
• Redireciona metadados para ckan + adicionar função de search #1063
• Adiciona logs nas funcões de upload #1085
• Adiciona configs gerais do basedosdados #1085
• Adiciona suporte a Avro e Parquet (cont.) #1145

v1.6.1

PRs:
#1026 Cria bypass de memória --> Agora usuário pode fazer download de bases com qualquer tamanho
#1010 Conserta a descrição do dataset

v1.6.0

Pre-release: v1.6.0-beta

Essa pre-release compreende a implementação dos PRs #675, #795 e #847.
As mudanças proveniente de cada um dos PRs são descritas a seguir.

Changelog

PR #675

Adiciona módulo metadata.py com as modificações e funções descritas a seguir.
Elas estão disponíveis tanto a partir da importação do módulo e da classe Metadata via script ou notebook, tanto como a partir do cliente CLI basedosdados.

Baixar metadados do CKAN e converter para YAML: Metadata.create

1. Permite baixar metadados de um dataset/tabela do CKAN, construindo um dataset/table_config.yaml a partir deles
2. Permite criar um arquivo dataset/table_config.yaml estruturado e sem valores preenchidos para novos datasets e tabelas

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: Metadata.is_updated

1. Permite comparar a versão do YAML local com a versão dos metadados do CKAN, indicando se os metadados locais correspondem à versão mais atualizada.

Validar se metadado está dentro dos padrões: Metadata.validate

1. Indica, a partir das APIs do CKAN, quais campos do YAML estão preenchidos de forma inadequada.
2. Indica o padrão correto a ser seguido no preenchimento dos dados.

Subir metadado para o CKAN: Metadata.publish

1. Permite subir os metadados locais preenchidos no YAML para o CKAN.

Integração com Table

1. Table.create usa Metadata.create para gerar o dataset/table_config.yaml

PR #795

• Upload para o Google Storage permite novos modes: header, auxiliary_files e architecture
• Agora table_approve.py faz o download das 20 primeiras linhas da table e adiciona na pasta header do Google Storage

PR #847

• Introduz o parâmetro use_bqstorage_api nas funções de requisição de dados para acelerar o download

v1.5.7

Closes issues #687 and #511

Resolve PR #793
Breve descrição das alterações
Modificações baseadas em https://stackoverflow.com/questions/45300037/cannot-upload-large-file-to-google-cloud-storage

• Adiciona o parâmetro chunk_size como opcional em Storage.upload
• Caso ele seja configurado, altera o chunk size do blob para o valor determinado
• Caso não seja configurado, não altera o atributo do blob
• Adiciona o parâmetro chunk_size como opcional em Table.append
• Para usá-lo associado ao Storage.upload

v1.5.6

Changelog

PR #626

• Melhora traceback do módulo download
• Melhora estrutura das Exception

v1.5.5

Issue #555

• Adição do Table().table_exits()
• Modificação do Table().append() para não dar replace na tabela

Issue #522

• dá a opção de retornar variáveis nas funções de metadados

Issue #578

• adiciona code coverage

PR #557

• adicionar possiblidade de configurar via variável de ambiente

v1.5.4

CHANGELOG:

• Refatora condicionais e simplifica código
• Melhora o pipeline da primeira configuração (#513)

v1.5.3

• Reorganiza as pastas do pacote
• Resolve bugs de Path no CLI

v1.5.0

• Adiciona nova função Storage.download()
• Remove parâmetro partitioned do Table.create(): checa automaticamente se o dado é particionado
• Resolve issue #302 : Table.update(mode="all") não sobrescreve configurações de partição
• Resolve issue #371: resolve erro de timeout ao tentar ler uma tabela do BigQuery
• Resolve issue #294: adiciona suporte para criar colunas extras no publish.sql

v1.4.10

• Fix Storage.copy_table() prefix
• Fix Storage.delete_table()
• Auto divide batch requests in Storage.copy_table() and Storage.delete_table()
• Fix table.publish(): return error if view can't be created