Ciência Cidadã Baseada em Big Data Aplicada ao Planejamento Urbano

Trabalho: Resenha

Informações da disciplina: Prática e Laboratório i

Nome do curso: Pós-Graduação em Ciência de Dados e Big Data Analytics

Aluno: Aluno: Janio Ferreira de Souza

Ciência Cidadã Baseada em Big Data Aplicada ao Planejamento Urbano

O artigo apresenta o modelo adotado de uma arquitetura para construção e estruturação de um ambiente capaz de armazena um grande volume de dados de forma eficiente para utilização de busca e analise de grandes volumes de dados.

Na implementação do modelo foi utilizado o projeto ParticipACT Brasil. O projeto visa implantar na cidade de Florianópolis o processo de ciência cidadã com o objetivo obter informações relevantes que auxiliem os gestores a resolverem problemas urbanos. Pode-se observar, então que a implementação do modelo facilitou a estruturação do ambiente, e ajudou na escolha de ferramentas especializadas para a manipulação de big data.

Introdução

O constante uso da internet e a utilização de diferentes equipamentos em lugares espalhados em uma cidade com sensores pode -se obter uma variedade de dados e consequentemente, gerar uma grande quantidade de informações que podem ser utilizadas por cidadãos comuns ou pelos administradores para auxiliar na tomada de decisões. Esta grande quantidade e variedade de dados gerados pelas cidades inteligentes cria um big data.

No entanto, por serem fornecidos por diferentes fontes, esses dados podem apresentar uma variedade de formatos. Para resolver isso, são necessárias ferramentas de integração de dados. Ou seja, ferramentas que transformem dados diferentes em um único formato a fim de possibilitar o armazenamento em uma única base de dados.

Contudo, o aumento de técnicas e ferramentas para big data, implementação de uma infraestrutura computacional tornou-se um desafio, pois exige do profissional conhecer e escolher as ferramentas mais adequadas para o ambiente, de acordo com a quantidade e o tipo de dado. Uma solução seria desenvolver um modelo de infraestrutura de big data que apresente como os dados devem se comportar no ambiente e quais os tipos de ferramentas que devem ser usadas e escolhidas.

Para resolução deste problema, foi definido um modelo de infraestrutura com objetivo de estruturar um ambiente para receber e trabalhar eficientemente com grandes quantidades de dados. E que forneça as tecnologias que atendam aos requisitos para o desenvolvimento do ambiente dando autonomia para o desenvolvedor na escolha de ferramentas.

Para implementar o modelo foi realizado um estudo de caso utilizando como base o projeto ParticipACT Brasil. Este projeto tem como base os conceitos de cidades inteligentes (smart cities), bem como o objetivo de projetar, promover e desenvolver um sistema de gerenciamento sócio - técnica para formar gradual e progressivamente um big data para analisar problemas de uma área urbana.  

Projeto ParticipACT Brasil

ParticipACT Brasil e uma extensão da plataforma crowdsensing ParticipACT da Universidade de Bologna. O projeto está sendo desenvolvido pela Universidade do Estado de Santa Catarina em parceria com a Universidade Federal de Santa Catarina e recebe apoio financeiro e de disponibilização de dados de entidades públicas e privadas. O objetivo do projeto e utilizar os dados disponibilizados por entidades que prestam serviços básicos para os habitantes e promover campanhas de crowdsensing, para que os habitantes da cidade, voluntariamente, enviem e disponibilizem informações que possam auxiliar os gestores na resolução de problemas urbanos.

O projeto está sendo desenvolvido, inicialmente, na cidade de Florianópolis/SC. O município de Florianópolis foi escolhida por ser a cidade sede das universidades, turística e com problemas de mobilidade e infraestrutura, o que aumenta a necessidade de um estudo concreto para a resolução desses problemas. Com a coleta de informações a entidade tem como objetivo inicial de apresentar evidências científicas que determinem, com maior exatidão possível, a quantidade de turistas que visitam a cidade, nos meses de dezembro a janeiro.  Para isso, pretende-se em um primeiro momento obter dados de instituições fornecedoras de serviços básicos como: companhia de coleta de resíduos sólidos, companhia de distribuição de energia elétrica, companhia de agua e saneamento, secretarias da prefeitura do município e censo (para determinar o número de habitantes).  

A infraestrutura do projeto foi definida e dividida em três partes principais: Big Data, Crowdsensing e Website.

• Big Data: e formado pelo Database Server, Server e Big Data Server. Database Server e responsável por armazenar as informações capturadas pelos cidadãos através de campanhas de crowdsensing com isso o Big Data Server integra as bases de dados, Database Server e dados provenientes de diferentes instituições e correlaciona esses dados para gerar informações importantes para tomada de decisão.

• Crowdsensing: neste está incluso o componente App - Phone e o Server. O App - Phone coleta dados resultantes das campanhas de participação e cooperação voluntaria dos cidadãos. Os participantes do crowdsensing podem acessar as informações coletadas nas campanhas através portal.  

• Website: e o portal disponibilizado para a interação entre o usuário e o sistema ParticipACT. Esse website permite que o usuário visualize os resultados das análises dos dados, faça download do aplicativo, entre outros.

Proposta

Apresentados o modelo e a arquitetura para um ambiente que necessite manipular grandes quantidades de dados com objetivo de estruturar um ambiente que atenda aos requisitos exigidos por uma plataforma para big data, ou seja, volume e variedade de dados, velocidade de busca e armazenamento, flexibilidade para manipulação dos dados e possibilidade de analise sistemática dos dados. Contudo o Big Data mais nada e um conjunto de dados caracterizado pelo armazenamento de grandes volumes e variedades velocidade que devem ser oferecidas para manipulação dos dados como armazenamento, consulta e analise. Diante disso, um modelo e arquitetura de plataforma para big data se torna importante uma vez que o uso correto e estruturado de ferramentas determina positivamente o uso eficiente dos dados.

O modelo e composto por cinco camadas, bem como a arquitetura desenvolvida com base no modelo proposto.

• A primeira camada consiste dos dados fornecidos pelas instituições que são armazenados na base de dados. Diferentes instituições fornecem dados de diferentes tipos e formatos. Os tipos mais comuns são: texto, csv, planilha e base de dados relacional.
• A segunda camada representa a interação dos dados para que sejam armazenados em uma única base de dados. Para converter os dados em um único formato é necessário utilizar uma ferramenta para extrair, transformar e carregar (Extract, Transformation and Load - ETL) dados. ETL, por sua vez, e um mecanismo utilizado para migrar dados heterogêneos de uma ou mais fontes de dados para um repositório de dados, data marts ou data warehouse. A ferramenta utilizada, inicialmente, para o desenvolvimento da arquitetura foi o Pentaho Data Integration.
• A terceira camada apresenta a base de dados. De acordo com o tipo e quantidade de dados, foi utilizado a base de dados NoSQL Apache Cassandra. Cassandra e um sistema de gerenciamento de banco de dados distribuído, orientado a coluna, para gerenciamento de grandes quantidades de dados estruturados distribuídos por muitos servidores.
• A quarta camada representa a etapa de processamento de dados. Nesta fase os dados são relacionados, manipulados e analisados. A ferramenta utilizada foi o Programa R, um ambiente para analises e gráficos estatísticos. Este programa possui um pacote, RCassandra, que possibilita a conexão entre a base de dados e o programa R.
• A última camada consiste de uma interface amigável que apresenta ao usuário as informações geradas. Essas informações podem ser visualizadas através de gráficos, mapas ou desenhos.

As ferramentas Pentaho e Cassandra foram escolhidas para os experimentos iniciais porque o Pentaho apresenta uma interface amigável e todas as funcionalidades necessárias para a transformação e integração dos dados. Além disso, possui uma versão para a comunidade open Soure. Por outro lado, o Apache Cassandra foi escolhido, pois além de ser uma base de dados NoSQL colunar, se destaca pela boa escalabilidade, alta disponibilidade, baixa latência e por permitir a replicação dos dados em múltiplos datacenters.