Desenvolvimento de Soluções com Map Reduce utilizando Hadoop

[pic 1][pic 2]

Atividade de Aula – Trabalho Prático

Disciplina	HDM – Desenvolvimento de Soluções com MapReduce utilizando Hadoop
Nome do aluno

Objetivos

O Trabalho Prático em laboratório possui como objetivos principais:

• Criar um programa para executar no Hadoop/Hadoop que classifique clientes de acordo com o valor de suas compras.
• Compilar o código criado.
• Executar o programa.
• Analisar os resultados gerados.

Ao final desta atividade o aluno deverá ser capaz de criar, compilar e executar um programa para o Hadoop.

Enunciado

1. Alterando o código fonte

Para esse trabalho prático deseja-se classificar e bonificar os clientes de acordo com a maior compra que ele realizou na empresa, aproveitando o código-fonte que foi criado na Atividade 02.

Caso a compra realizada seja maior que R$50.000,00, deverá ser informado que o cliente possui um bônus de 15%. Em caso de compras entre R$20.000,00 e R$49.999,99, o bônus será de 8%. Caso a compra tenha sido menor que R$20.000,00 o sistema deverá informar que não há bonificação a ser concedida.

A função Reduce deverá ser alterada para a inclusão da frase que destaca o bônus a ser concedido. Para isso, sugerimos a utilização do código abaixo:

[pic 3]

Como adicional, pede-se que após a mensagem de bonificação seja inserido o valor do bônus. Exemplo: caso a maior compra do cliente tenha sido de R$60.000,00, o resultado deverá ser:

099        Bonus 15%        9000.00

Após a alteração do código, você deverá realizar a compilação e execução. Para isso siga os mesmos passos definidos nas Atividades 01 e 02, sendo eles:

• Apague o conteúdo do diretório temp.

• Formate o HDFS (para apagar algum dado anterior que ainda esteja por lá).

• Inicie os serviços do Hadoop.

• Certifique-se que todos os serviços (05) foram iniciados corretamente.

• Compile o ExemploIGTI.java já com sua alteração.

• Execute o programa.

• Dê print na tela de execução e armazene a imagem.

• Verifique no HDFS (pelo browser ou linha de comando) o resultado gerado.

• Dê print no conteúdo do arquivo gerado no HDFS e armazene a imagem.

Atividades

1. Para o programa ExemploIGTI já com as alterações de bonificação realizadas, apresentar o print da tela de execução do programa (terminal) e o conteúdo do arquivo gerado no HDFS.

[pic 4]

[pic 5]

1. No programa que você executou, quantas vezes a função Map foi “chamada”?

2 vezes.

1. No programa que você executou, quantas vezes a função Reduce foi “chamada”?

1 vez.

1. Quantos grupos de registros (agrupados pela chave) temos na função Reduce?

5 grupos.

1. Quanto tempo foi gasto pelas tarefas Map e Reduce?

Map = 20382 ms

Reduce = 5054 ms

Obs.: Para as perguntas 2, 3, 4 e 5 os logs que são gerados na tela do Terminal podem ser úteis.

...