A Big Data, Dados, Processamento, Análise

Resumo

O Big Data representa um grande volume de informações adquirida através de diversas fontes onde, a análise eficiente e em tempo hábil dessas informações, através de ferramentas que nos permitam obter padrões e tendências podem nos auxiliar na tomada de decisões e nos devidos campos de atuação das mais diversas áreas. Com o aumento exponencial de dados gerados pela popularização da internet nos últimos anos, foram criadas ferramentas inteligentes e tecnológicas que pudessem processar altos volumes e diferentes tipos de dados, que até então não poderiam ser processados por sistemas convencionais. Este artigo procura, através de uma revisão literária, expor as principais ferramentas, soluções e casos, além de expor os pontos mais relevantes sobre o Big Data.

Palavras Chave: Big Data, dados, processamento, análise.

1 Introdução

O volume de dados gerados nos últimos anos tem aumentado de maneira exponencial. Esse consumo cresce rapidamente e é impulsionado por novos conceitos como Internet da Coisas, impulsionado também pelo aumento do acesso a dispositivos eletrônicos. Segundo o IBGE, em 2014, 95,4 milhões de pessoas, ou 54,4% da população, com dez ou mais anos de idade acessaram a rede pelo menos uma vez em um período de três meses. O Gartner diz que o tráfego de dados móveis pode atingir até 173 milhões de terabytes até 2018.

O termo Big Data nasceu no início da década de 1990, na NASA, para descrever grandes conjuntos de dados complexos que desafiam os limites computacionais tradicionais de captura, processamento, análise e armazenamento informacional.

 O Big Data se aplica no tratamento desse volume de dados, que vem de variadas fontes e que demandam alta velocidade de processamento, na busca por um valor (Taurion, 2013). Esse valor se dá através de previsões de tendências, opções de usuários, identificações de padrões, dentre outros benefícios obtidos através correlação dos dados , que podem beneficiar diversas áreas de estudos. Esse artigo tem por objetivo apresentar ferramentas mais importantes de uso do big data que ajudam a esclarecer melhor como o Big Data funciona na sua essência; Para tal, foram usadas diversas fontes de pesquisa, como livros, revistas, vídeos explicativos, sites e artigos.

2 Big Data (desenvolvimento)

Big data se refere à terceira época da era da informação (MINELI, CHAMBERS E

DHIRAJ, 2013. Na literatura, observa-se dois caminhos para a definição de Big Data: o primeiro relaciona a expressão a um grande volume de dados (CALDAS; SILVA, 2016; ZIKOPOULOS et al., 2012); o segundo entende o fenômeno de maneira mais ampla, relacionando-o com a utilização de tecnologias capazes de manipular este grande volume de dados (BRETERNITZ; SILVA, 2013; TAURION, 2013; CAMPOS, 2015.

Para Zikopoulos et al. (2012), o termo se aplica a informações que não podem ser processadas e analisadas de maneira convencional. Ou seja, nesse primeiro conceito, Big Data se refere a um grande volume de dados, gerados de maneira ampla e intermitente, e necessitam de tratamento especial para produzir significado e, assim, agregar valor.

No segundo conceito, o termo Big Data designa “um conjunto de tendências tecnológicas que permite uma nova abordagem para o tratamento e entendimento de grandes conjuntos de dados para fins de tomada de decisões” (Breternitz e Silva, 2013). Campos (2015) define Big Data 17 como uma relação entre volume e fonte de dados cujo valor depende de soluções tecnológicas para armazenagem e análise.

Essa relação entre a quantidade de dados e a capacidade de utilizá-los é o que torna o fenômeno do Big Data algo diferente do que já existia. O grande diferencial do Big data se encontra-se no surgimento de tecnologias capazes de lidar com o volume e quantidade de dados além do tradicional. Portanto, considerando que a existência de grande volume de dados já é fato comum para veteranos da indústria, neste trabalho considera-se que a segunda visão sobre o conceito de Big Data se mostra mais adequada para compreender o fenômeno.

2.1 Características do Big Data

A literatura aponta para três características determinantes e definidoras para o Big Data (ZIKOPOULOS et al., 2012; MINELI et al., 2013), são os 3Vs: volume, variedade e velocidade, mas podem ser expandidas com duas dimensões adicionais (TAURION, 2013; WAMBA, 2015), formando os 5Vs, que acrescentam veracidade e valor.

A dimensão variedade esta relacionada a diversidade de dispositivos e fontes de dados disponíveis e próximos de quase todo mundo (BETSER; BELANGER, 2013). Zikopoulos et al. (2012) explicam que a utilização de tecnologias como sensores e aparelhos inteligentes (smart devices), produz dados semiestruturados ou nãoestruturados (por exemplo, logs, indexadores de pesquisas, e-mails, documentos eletrônicos, mídias sociais, entre outros), os quais não têm características convencionais. Os dados não-estruturados ou semiestruturados representam 80% do total, enquanto os estruturados compõem os 20% restantes( Zikopoulos et al. 2012). Em relação aos novos dados gerados, cerca de 95% deles são não estruturados, sendo que apresentam um crescimento notadamente exponencial, ao contrário dos dados estruturados, os quais têm um crescimento linear (MINELI et al., 2013). Portanto, conclui-se que, por não serem convencionais, a grande maioria dos dados gerados exigem tecnologias específicas, impondo desafios para a sua ultilização por não serem tratados de maneira simples pelas plataformas tradicionais.  

A dimensão volume refere-se à grande quantidade de dados disponíveis e que apresenta um crescimento exponencial. Estima-se que no ano 2000 haviam 800.000 petabytes (PB) armazenados em todo o mundo, contra uma expectativa de 35 zettabytes (ZB) até 2020. De acordo com o Sistema Internacional de Unidades (SI), 1 petabyte representa 1015 bytes e 1 zettabyte equivale a 1021 bytes (ZIKOPOULOS et al., 2012). McAfee e Brynjolfsson (2012, p. 4) destacam que 2,5 exabytes (equivalente a um bilhão de gigabytes) são gerados por dia e que esse número dobra a cada 40 meses, o que significa que, hoje, são gerados mais dados por segundo do que toda a internet tinha há 20 anos atrás.

A tabela abaixo resume os prefixos utilizados no sistema internacional de unidades (SI):

[pic 1]

A dimensão velocidade considera o quão rápido os dados são capturados e armazenados, e ainda a taxa de recuperação desses dados, contudo, Zikopoulos et al. (2012) aponta que esta dimensão deve considerar também a velocidade em que os dados estão fluindo e a capacidade de lidar com esse fluxo e transformá-los em informação. Esta dimensão tem caráter estratégico para organizações que queiram utilizar o Big Data, pois representa uma vantagem estratégica à medida que trata da velocidade em que a organização é capaz de utilizar os dados. Trata-se, portanto, da capacidade que tem a organização para retirar conhecimentos dos dados em tempo real.