Data Warehouse

DATA WAREHOUSE

NOVEMBRO/2011

O Data Warehouse, também conhecido como Armazém de Dados ou Depósito de Dados é um sistema de computação utilizado com o fim de armazenar as informações referentes os processos e tarefas de uma organização em uma base de dados, favorecendo a geração de relatórios, análise de dados e obtenção de informações estratégicas que influenciam na tomada de decisão.

A criação do Data Warehouse surgiu com um conceito acadêmico na década de 80, devido à necessidade de analisar dados, que amadureceram juntamente com o avanço dos sistemas de informação, processo tal, que os OLTP´s (Online Transaction Processing: Séries históricas que possibilitam uma análise precisa de informações, auxiliando em ações futuras) não conseguiram realizar. Neste momento, surgiu este sistema de armazenamento de dados para suprimento desta carência, desenvolvendo novas ferramentas de suporte a esta estrutura, que foi tornando-se realidade nas grandes organizações. Tornou-se o núcleo do sistema de informação gerencial e apoio a tomada de decisões estratégicas do mercado.

O Data Warehouse surgiu a fim de realizar grandes volumes de dados, coletados dos sistemas transacionais, os OLTP´s. Sendo a ferramenta OLAP (Online Analytical Processing) a mais utilizada para explorar um armazenamento de dados.

O DW concentra dados de diversos sistemas estruturados e outras bases de dados, em diferentes plataformas. Os dados antes de serem armazenados são filtrados, normalizados, reorganizados e sumarizados para formarem uma base de dados confiável e íntegra. Muitas vezes, uma informação está representada sob diversas formas, dependendo do sistema de informação. Por exemplo, um código de fornecedor pode ser diferente em dois ou mais bancos de dados.

Um Data Warehouse é desenvolvido para explorar informações em meio a todos dados de uma organização, visando controle de determinado processo. A maioria dos sistemas de informação é parametrizada, na qual as buscas por informações são pré-definidas, não oferecendo flexibilidade ao usuário para criar novas pesquisas de forma ágil e rápida. Os Data Warehouses tem como objetivo criar esta flexibilidade necessária para as pesquisas e visualização de informações.

A base de dados de um Data Warehouse deve ser desenvolvido pela ferramenta OLAP, caracterizando-se pela ênfase na recuperação das informações. Instruído à análise e processos de decisão pelos usuários através do uso de ferramentas especialmente desenvolvidas para o cruzamento multidimensional dos dados, os Data Mining. Os Data Mining são mais eficientes se usados em Data Marts, pois estes são orientados a determinados assuntos da empresa. Os Data Warehouses devem permitir o download de informações para a utilização em outras ferramentas, tais como: planilhas eletrônicas e outros bancos de dados. Diferente dos bancos de dados orientados às transações on-line em tempo-real que trabalham centrados nas operações diárias da empresa.

Funcionamento da arquitetura Data Warehouse

- Armazenamento:

O armazenamento é feito por um único depósito que seja de rápido acesso para as análises.

Este armazenamento deverá possuir dados históricos advindos de processos transacionais de

banco de dados, que servirão de backend de sistemas como ERP´s e CRM´s. Quanto mais dados históricos, melhor será a leitura de informções referente momento atual da organização.

- Modelagem Multidimensional

O Data WareHouse utiliza dados no layout de-normalizados. Este formato aumenta o desempenho das consultas de informações e é considerado como mais intuitivo/lógico para os usuários comuns. Ao contrário dos formatos utilizados pelos sistemas de banco de dados tradicionais que utillizam a normalização, a fim de garantir consistência dos dados, minimização do espaço de armazenamento necessário e redução de redundâncias.

- Conceito Metadado

Uma outra ferramenta essencial para o gerenciamento de um Data Warehouse é um repositório de Metadados, que são os “dados sobre dados”, ou seja, são os dados sobre os sistemas que operam com este dados. Uma forma de converter dados em informações.

Um repositório com este conceito deve conter informações que agreguem valor aos dados, como:

 Origem dos dados

 Fluxo de dados

 Formato dos dados

 Nomes e Alias

 Definições de negócio

 Regras de transformação

 Atualização de dados

 Requisito de teste

 Indicadores de qualidade de dados

 Triggers autométicos

 Responsabilidade sobre informações

 Acesso e Segurança

Data Marts

O Data Warehouse é um sistema acedido através de Data Marts. Pontos específicos de acesso a subconjuntos do Data Warehouse. Os Data Marts são utilizados para oferecer informações de um tipo específico