Download

What

Permitir o download, com controle de versão, de conjuntos de dados como data packages zipados via botão na interface gráfica e URL dedicada.

Open questions

  • O download deve ser do arquivo datapackage.json e arquivos de dados ou somente do arquivo datapackage.json? Somente o arquivo datapackage.json impede que o consumidor realize facilmente um backup local dos arquivos de dados. Isso tem valor, especialmente tendo em vista que o CKAN não oferece versionamento de dados.

  • Na implementação do CKAN DataHub o botão Download Data Package faz download apenas do arquivo datapackage.json. Isso implica que a propriedade resource.path deve utilizar URLs no lugar de caminhos relativos para que o mesmo funcione localmente.

  • frictionless-r suporta a leitura de data packages zipados?

  • O versionamento proporcionado pelo activity_id na versão 2.9 do CKAN somente versiona os metadados (isso não é claro para o usuário). Permitir o download com controle de versão seria permitir que os arquivos de dados de versões anteriores também estivessem acessíveis, por exemplo adicionando activity_id=d5b34496-735a-437d-85a5-d52e61a79d89 na URL

  • Vide open questions da importação e armazenamento de data packages

Examples/Research

  • package.to_zip

  • Compression of resources

  • ckanapi - Pacote Python, acessível via interface CLI, que simplifica a interação com a API do CKAN. Ele possui funcionalidade para exportação de conjuntos de dados como pacotes de dados

    ckanapi dump datasets --remote https://homologa.cge.mg.gov.br/ violencia-mulher  # outputs dataset metadata
ckanapi dump datasets --remote https://homologa.cge.mg.gov.br/ --datapackages=output violencia-mulher 
ckanapi dump datasets --remote https://homologa.cge.mg.gov.br/ --datapackages=. violencia-mulher 
ckanapi dump datasets --remote https://dados.gov.br/ --datapackages=. comissao-propria-de-avaliacao

    Vide Investigar bug ckanapi dump datasets #454.

  • Try this: Frictionless data.world - Exemplo de outro catalogo de dados, data.world, que implementou uma funcionalidade para exportação de pacotes de dados

  • CKAN DataHub - Exemplo de botão Download Data Package e URL https://old.datahub.io/dataset/mallzee-dataset/datapackage.json com extensão

  • Github zip archive download

  • [[20210623T210814]] frictionless - mime type

  • ckanext-versions