AS TECNOLOGIAS AVANÇADAS

[pic 1]

[pic 2]

UNIVERSIDADE ESTÁCIO DE SÁ

MBA EM CIÊNCIA DE DADOS E BIG DATA ANALYTICS

Fichamento de Estudo de Caso

Elcionor Arruda de Castro

Trabalho da disciplina Tecnologias Avançadas

Tutor: Prof. Denis Gonçalves Cople

Manaus

2019

---

BIG SOCIAL DATA: PRINCÍPIOS SOBRE COLETA, TRATAMENTO E ANÁLISE DE DADOS SOCIAIS

Algo inevitável para a nossa geração, além da criação das mídias sociais, foi o aumento expressivo gerado por elas. O que em um determinando momento era apenas um fluxo de dados, passou a ser um desafio, onde a partir desse movimento iniciou um novo modelo de análise de dados como nunca visto, pois vai além dos dados estruturado que estávamos acostumados analisar. Com esse novo entendimento iniciou-se muitas abordagens com relação ao assunto o que se tornou o grande desafio do Big Data.

Assim como um ciclo de vida em um organismo vivo, da mesma forma as redes sociais se comportam. Se pensarmos que cada célula é uma pessoa podemos absorver melhor essa comparação, partindo de um princípio onde elas se multiplicam e que quando uma morre pode dar lugar a outra. Pensando dessa forma o conceito de rede social pode se encaixar em vários padrões gerados a partir do comportamento não estático de cada ser. A estrutura que forma essas relações normalmente se mostram complexas, por isso a rede é estudada como um todo, partindo do todo até chegar em sua atitude, porém antes de chegar na atitude comportamental, o todo é estudado de uma visão sociocêntrica ou em uma visão egocêntrica.

A partir da análise de rede social, surgiu interesses diversos, desde uma empresa que deseja disseminar melhor o conhecimento entre seus funcionários até o levantamento de relacionamentos entre weblogs dedicados a trazer propagandas e ideias terroristas. Saber que podemos estudar esse comportamento é algo sem limites se pararmos para imaginar que as pessoas formam grupos, o comportamento desse grupo gera conteúdo, esse conteúdo é comentado e relatado, experiências se multiplicam quase instantânea em diversas plataformas, possibilitando soluções a partir destas análises.

Com o crescente aumento dos dispositivos móveis e tablets, a partir dos apps, se deu a popularização das mídias sociais, disponibilizando cada vez mais dados na internet. Todo esse avanço acabou criando uma espécie de democratização na geração de conteúdo, passando do modelo tradicional de “um pra muito” para “muito pra muitos”, onde jornais, revista e televisão deixaram de ser os principais meios de informação.

Por questão de organização, as mídias foram caracterizadas da seguinte maneira: colaborativa, comunicativa, multimídia e entretenimento. A monitorização destas mídias tornou-se um problema para o Big Data, pois, a velocidade que os dados eram gerados era muito superior aos que os algoritmos suportavam para o tratamento de um grande volume de dado com características distintas para que análises diferentes sejam realizadas.

Como a maior parte da informação distribuída via web é composta por dados não estruturados, para que essa análise possa ser realizada, é necessário aplicar técnicas em mineração para conseguir extrair informações. Devido a esse grande problema um dos desafios crescentes é a busca constante para estruturar estes dados. Algumas mídias já podem ser consumidas com alguns padrões, entre eles o XML e JSON, logicamente que pode ser utilizada ou criadas outros padrões, já que é necessário criar uma aplicação para cada padrão de representação.

Como citado anteriormente, atualmente as principais redes sociais online disponibilizam suporte para coleta de dados, um exemplo destas ferramentas é o Node.js. construída na máquina virtual do Java Script da Google para facilitar a construção de aplicações de rede de forma rápida e escalável. O Twitter é uma rede social online que possui duas APIs diferentes para a captura de seus dados, REST API e Streaming API, sua padronização de arquivos é em JSON, todos os dados são recebidos neste formato. Com este conjunto de ferramentas utilizadas é possível realizar a leitura, desambiguação de nós e montagem do grafo de relacionamentos, estando a par destas informações é possível iniciar a análise da rede social traçando métricas e muitos outros tipos de análises.

Como nem todos os portais disponibilizam API de acesso ou disponibilizam API com acesso parcial, é possível também ter acesso ao conteúdo diretamente da página web, e a partir daí, pode obter dados buscando algum padrão. A mineração de dados consistente na coleta e na procura de padrões consistentes, porém de forma eficiente. Temos a seguinte estrutura: a mineração de grafos (estrutura de dados genéricos) é dividida em grupos, mineração orientada a objetos, mineração orientada a links e mineração orientada a grafos, os grupos e os métodos de cada grupos são, tarefas relacionadas a objetos, tarefas relacionadas a ligações e tarefas relacionadas a grafos. Por sua vez as tarefas relacionadas a objetos se dividem em: Ranking baseado em ligação de objetos; Classificação baseada em ligação de objeto; Agrupamento de objetos e Identificação de objetos. As tarefas relacionadas a ligações resumem-se à predição de ligações. Por fim, as tarefas relacionadas a grafos se dividem em: Descoberta de subgrafos e Classificação de grafos.