APOSTILA QLIK PROCESSO  ETL (EXTRAÇÃO, TRANSFORMAÇÃO, LOAD= CARGA)

APOSTILA QLIK

PROCESSO  ETL (EXTRAÇÃO, TRANSFORMAÇÃO, LOAD= CARGA)

Para começarmos uma extração eficiente e organizada, devemos criar o que chamamos de QDF: QLik Deployment Framework:  é um conjunto de pastas afim de organizarmos os arquivos de dados(excel, csv, etc) de forma eficiente para compartilhamento, reutilização e organização da estrutura de dados, sem comprometer o arquivo original.

Começar criando as seguintes pastas:

• Dentro da pasta do projeto que esta sendo trabalhado, crie as 6 pastas seguintes:

1. 1.QVD,
2. 2.CONFIG,
3. 3.INCLUDE,
4. 4.EXPORT,
5. 5.IMPORT,
6. 6.MISC ,

• Abra a pasta 5.IMPORT e coloque seus arquivos de dados dentro da pasta.

• Abra a pasta 1.QVD e crie dentro dela 3 pastas:

1. 1.EXTRACT,
2. 2.TRANSFORM E
3. 3.LOAD

Essa pasta é onde ficaram seus dados extraídos, transformados e carregados.

VÁ AO PROGRAMA QLIK  E CRIE OS 3 APLICATIVOS:

1. 1.1- Extrator - nome da empresa
2.  1.2- Transformador – nome da empresa
3. 1.3- Load - nome da empresa

EXTRAÇÃO

• Abrir o app 1.1 Extrator, clique em Editor de script -> Criar nova conexão -> Pasta.

• Ir na pasta 5.IMPORT e copiar o caminho da pasta  onde estão os arquivos de dados.

[pic 1]

• Volte ao programa Qlik , cole embaixo do Caminho. NO campo NOME, escreva “BASE e o nome da empresa” e clique em Criar.

[pic 2]

• Agora para extrair o dado dessa base devemos criar uma nova seção (+);

[pic 3][pic 4]

• Depois de criar uma seção, você vai clicar em selecionar dados;

[pic 5] [pic 6]

• Clique no 1º arquivo (AERONAVE) depois em Selecionar.

[pic 7]

• Vai abrir o arquivo numa planilha e depois clique em Inserir script;

• Escreva o nome da tabela “DIM_nome do arquivo:” , como mostra a imagem abaixo;

DIM=DIMENSÃO

[pic 8]

• Agora para guardar: Ir à pasta do projeto, abrir a pasta 1. QVD -> 1. EXTRACT e copiar o caminho.

[pic 9]

• Voltar ao Qlik, ir em: CRIAR NOVA CONEXÃO – PASTA – Colar o caminho – Escrever no nome EXTRAÇÃO – CRIAR.

[pic 10]

• Agora pegar o CSV e salvar em EXTRAÇÃO como QVD, escrever o  comando:

STORE DIM_AERONAVE INTO [lib://EXTRAÇÃO/DIM_AERONAVE.QVD](QVD);

[pic 11]

• Pra finalizar clicar em: CARREGAR DADOS, depois FECHAR.
• Agora o QVD esta aparecendo na pasta 1 EXTRACT.

[pic 12]

Obs: se tiver vários arquivos com mesmo nome e quiser juntar todos no mesmo QVD, terá que colocar o sinal * no comando, conforme imagem abaixo.

[pic 13]

Ex: Assim juntará as informações de todos os arquivos com nome aeronave em um único QVD.

• Nomear Seção: Coloque na Seção o nome da tabela. (Se necessário coloque numeração)

[pic 14]

CRIANDO OUTRA SEÇÃO

• CRIE outra SEÇÃO -> SELECIONAR DADOS -> 2º arquivo (fator contribuinte) – Selecionar.

[pic 15]

• Escreva o nome da tabela (DIM_nome do arquivo:) - ESCREVA O COMANDO QVD - ESCREVA O NOME DA SEÇÃO -> CARREGAR DADOS E DEPOIS FECHAR, como mostra a imagem abaixo.

[pic 16]

• Agora o QVD estará aparecendo na pasta EXTRACT.

[pic 17]

Obs: Fazendo esse passo a passo com todos os arquivos.

LIMPAR O DADO DA MINHA MEMÓRIA

• Para fazer a limpeza dos dados na memória, escrever o comando DROP TABLE em todas as tabelas:

DROP TABLE (nome da tabela);

[pic 18]

Depois de fazer o comando em todas as tabelas, clique em CARREGAR DADOS.

Pegar dado na internet e relacionar entre eles.

• Pesquise na internet e copie a URL, depois  no Qlik crie uma SEÇÃO e coloque o nome – CRIAR NOVA CONEXÃO – ARQUIVO DA WEB – cole a URL e coloque o NOME – CRIAR.
• Criou então uma seção, clique em selecionar dados.
• Vai abrir a planilha, verifique  e inserir script.
• Escreva o nome da tabela (DIM_nome do arquivo:) - ESCREVA O COMANDO QVD – COMANDO DROP TABLE - ESCREVA O NOME DA SEÇÃO -> CARREGAR DADOS E DEPOIS FECHAR.

Até aqui foi concluído a extração dos dados. Agora vamos pegar o dado extraído, transformar e gerar o dado transformado.

TRANSFORMAÇÃO

Criar o app transformador, abrir e criar uma seção e criar conexão.

Obs: Criar conexão sempre a cada etapa

Copiar caminho – pasta – colar caminho e colocar nome extração

...