Gerencia de Projetos de Big Data

1. Introdução

Nos últimos anos, a quantidade de informação produzida na internet cresceu de uma escala exponencial. Esses milhares de dados heterogêneos passaram a chamar a atenção de empresas e instituições que perceberam a existência de informações úteis, capazes de agregar valor e aumentar o retorno sobre o investimento..

Essa grande e contínuo volume de dados heterogêneos produzido foi denominado de Big Data. Segundo o livro Understanding Big Data, este termo é aplicado para uma grande quantidade de informação útil, mas que não pode ser processada e analisada usando métodos e ferramentas tradicionais.^[1]

Apesar das organizações terem acesso a um volume cada vez maior de dados, elas não sabiam de que forma poderiam extrair informações relevantes, pois na grande maioria dos casos os dados são apresentados de forma não estruturada e heterogênea. Uma vez que as empresas não conseguiam extrair informações sobre seus clientes - e consumidores de uma maneira em geral - elas acabavam perdendo oportunidades de negócio e, consequentemente, aumentar o lucro..

[pic 1]

O desenvolvimento de ferramentas capazes de gerar informação útil a partir dos dados denominados big data revolucionou diversos mercados em todo mundo. Desde instituições de pesquisa científica, até empresas de varejo se beneficiaram desta tecnologia. Sem dúvida, a análise de Big Data pôde dar uma grande contribuição para diversos setores, sendo capaz de gerar um valor agregado inestimável.

Para processar e analisar Big Data o Google implementou o MapReduce ^[2] e desenvolveu o  Google File System ^[3]. O objetivo da gigante da internet de organizar as informações do mundo e torná-las mundialmente acessíveis e uteis traz consigo a necessidade de indexar todo o conteudo da rede mundial de computadores.

O Google File System é o precursor do Hadoop, uma plataforma de computação distribuída voltada para clusters e processamento de grandes massas de dados projetada para rodar em hardware commodity, que é a fundação para softwares de analise de big data utilizados por diversas empresas como o Facebook, Ebay, IBM, Yahoo!, LinkedIn, The New York Times,  dentre outras.

1. Aspectos considerados para execução do projeto

Cada vez mais empresas aderem às análises de Big Data para aumento de retorno sobre investimento e não perder espaço em mercados tão competitivo. Para tanto, é necessário entender quais os aspectos devem ser considerados na hora de elaborar um projeto de Big Data. É notório que esta tecnologia pode gerar bons resultados mas é necessário ter um bom planejamento para o gerenciamento de um projeto de analise de dados.

Diversos aspectos precisam ser considerados antes de iniciar um projeto de Big Data. Aqui vamos destacar 5 (cinco), que são de extrema importância para o sucesso do trabalho.

O primeiro aspecto é a cultura organizacional, sendo esse o mais importante pois constitui a base de uma gestão baseada em evidencias, antes da analise de qualquer outro aspecto é fundamental a compreensão do trabalho de gestão de informação.

A analise de big data extrai e disponibiliza informações relevantes para o desenvolvimento do negócio, segundo a pesquisa realiza por Erik Brynjolfsson e Andy McAfee as empresas que tomam decisões orientadas pela informação (data-driven) possuem uma melhor performance, obtendo uma produtividade 5% e lucro de 6% acima da media.

A cultura de decisão baseada em informação é um pré-requisito para o big data, o modelo de gestão e os processos de negócio devem possibilitar decisões robustas e embasadas em informações. Pesquisas realizadas indicam que diversas empresas não possuem uma política de gerencia de informações^[4], dados ligados aos processos primários são descartados impossibilitando o ciclo de aprendizado e melhoria operacional, essas mesmas empresas estão investindo em cientistas de dados e ferramentas de analise de big data quando a oportunidade de aumentar a performance está disponível por um custo menor. Portanto o primeiro passo é o estabelecimento da gestão por evidência visando a futura adoção do big data.

O segundo aspecto está relacionado a infraestrutura. O investimento necessário para suportar a atividade está diretamente relacionado aos requisitos do projeto. Diversas variáveis identificadas durante a elaboração dos requisitos do projeto definem a infraestrutura necessária. É possível observar claramente alguns tópicos, entre eles:

• Processamento da informação em tempo real (real-time) exige um numero maior de nós de processamento quando comparado ao processamento próximo do tempo real (near real-time).
• Volume de dados pode variar entre terabytes e petabytes
• Distribuição geográfica influencia na latência para transferência de dados, implicando em maior velocidade de link de internet
• Disponibilidade, o sistema pode ser consumido no modelo 24/7 portanto links de redundância, monitoramento e distribuição de recursos em diferentes regiões tornasse necessários.
• Acesso seguro, o informação pode ser consultada de acordo com níveis de acesso e por meio de sistemas distribuídos

 O terceiro aspecto envolve o gerenciamento dos riscos. A adoção da analise big data traz consigo riscos inerentes a qualidade dos indicadores e predições, os dados produzido na web possui diferentes formatos e são bastante heterogêneos. Portanto, uma análise incorreta pode comprometer o resultado final. A análise de Big Data indica tendências e faz previsões, que, por circunstâncias externas, pode não gerar o resultado esperado.

O quarto aspecto diz respeito a questão do tempo versus a qualidade do trabalho. Os dados são produzidos e atualizados em alta velocidade. Portanto, o tempo é um fator importante para o sucesso do projeto. Trabalhar com dados ultrapassados pode não gerar nenhum valor. Porém, a qualidade do trabalho não pode ser afetado, pois um resultado de  má qualidade também não gera valor para a empresa. Portanto, essa relação entre obter um resultado de qualidade em um tempo ágil precisa ser gerenciada com cuidado.

O quinto aspecto trata dos recursos humanos. É difícil encontrar profissionais capacitados. Para obter um bom resultado, o projeto precisa de gerentes capacitados, com experiências de negócios alem da expertise técnica e capacidade de coordenar uma equipe hetetogênea. Também é necessário uma equipe de desenvolvedores e analistas capazes de identificar padrões, realizar modelagem estatística e elaborar modelos capazes de analisar os dados brutos e obter resultados, apontando tendencias e previsões.