Big Data: Conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados

O que é Big Data?

Conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados;

Não é uma ideia nova;

Os três V's:

Volume

Velocidade

Variedade

Definição da Gartner:

Big Data são ativos de informação de extremo volume, alta velocidade e grande diversidade que demandam formas inovadoras e econômicas de processamento para melhores tomadas de decisão e insights.

Volume

1.2 ZB de informações foram criadas em 2010 e até 2015 serão 7.9ZB (Fonte: EMC/IDC Extracting Value from Chaos, June 2011);

1 ZB = 1 trilhão de gigabytes;

Mudança de paradigma, armazenar primeiro e perguntar depois;

Geramos um numero absurdo de dados diariamente, estimasse que esse numero dobre a cada 18 meses

Velocidade

Walmart processa mais de 1 milhão de transações de clientes a cada hora, aproximadamente 2.5 petabytes de informações;

A cada minuto (Fonte: DOMO):

48h de vídeos são enviados para o YouTube

571 novos sites são criados

Mais de 100 mil tweets são enviados

2083 check-ins são realizados via FourSquare

Muitas vezes e necessário agir em tempo real para lidar com essa imensa quantidade de dados;

Variedade

Banco de dados, planilhas, documentos de texto, audios, vídeos, tweets, dados de sensores, click streams, arquivos de log, etc.

Dados provenientes de sistemas estruturados e não estruturados.

4° V?

Dado o volume a variedade e velocidade com que novos dados são armazenados, você acredita neles?

arquitetura

Principais desafios:

Captura

Curadoria

Armazenamento

Busca

Compartilhamento

Análise

Visualização

exemplo de aplicação

Big Science

LHC possui cerca de 150 milhões de sensores gerando 40 milhões de amostras por segundo.

Com a tecnologia big data o genoma humano pode ser decodificado em 1 semana, no passado demorou 10 anos.