O Streaming de Vídeos

Case – Streaming de Vídeos

Para que a manutenção de grandes conjuntos de dados seja efetiva, é importante existir alto poder de processamento, além de softwares que atendam à alta demanda. Em regra, sistemas gerenciadores de bancos de dados comuns podem não ser tão satisfatórios, sendo necessário o uso de ferramentas mais robustas.

Observe a seguinte situação: De acordo com o cenário apresentado, você deve especificar:

a) Qual ou quais tecnologias poderiam ser adotadas pela empresa? Justifique sua resposta com o maior número de detalhes possível.

Data Lake para armazenar a grande massa de dados que em geral, não está devidamente estruturada.

Podemos utilizar o ambiente Hadoop para trabalhar com a estruturação, processamento, análise e armazenagem dos dados.

b) Com base em sua resposta, anexe o desenho da arquitetura ideal imaginada por você para atender à empresa.

Ingestão – Apache Kafka

Armazenamento – Apache Cassandra

Processamento – Apache Spark

Apresentação – Microsoft Power BI

Segurança – Apache Ranger

a) Muitas podem ser as possibilidades de arquitetura. Como sugestão, uma delas seria o uso do Apache Hadoop, visto que ele conta com ferramentas de armazenamento massivo de dados, como o HDFS, além de ferramentas destinadas ao processamento, como é o caso do Spark e do Hive. Os dados seriam captados das diversas fontes, como websites, sistemas gerenciadores de conteúdo, planilhas eletrônicas, etc., e, em seguida, processados pelo Apache Spark, no qual seria possível extrair os insights necessários. Por fim, seriam apresentados visualmente pelo Tableau ou Power BI, por exemplo. Além disso, como vantagens, a empresa teria baixo custo de investimento, pois a maioria das ferramentas é open source, com exceção do Power BI e do Tableau. Na camada de segurança, por sua vez, pode-se utilizar o Apache Ranger e o Apache Ambari para garantir a integridade dos dados.

b) O desenho anexo representa a arquitetura mencionada na questão A, porém você pode representar outra arquitetura diferente desta, desde que atenda às camadas de ingestão, armazenamento, processamento, apresentação e segurança.

[pic 1]

...