IA - Redes neurais artificiais

Redes Neurais Artificiais

Paradigma conexionista

Roteiro

• Objetivos
• Inspiração biológica;
• História das RNA;
• Aplicações das RNA’s;
• Funcionamento.

Objetivos

• Introduzir os principais conceitos de RNA’s:

• Características básicas;
• Funcionamento
• Arquiteturas

• Exemplificar o uso de RNAs em Reconhecimento de Padrões e Controle.

Inspiração biológica

• Organização estrutural do sistema nervoso central.
• Neurônio biológico

• Unidade celular do sistema nervoso
• Possui variados tipos, de acordo com seu uso;

• Possui variados tipos, de acordo com seu uso;

• Podem estar em 2 estados:

• Ativo ou excitado: envia sinais para outros neurônios por meio do axônio e sinapses.
• Inativo ou inibido: não envia sinais.

• Sinapses podem ser de 2 tipos:

• Excitatórias (excitam o neurônio receptor).
• Inibitórias (inibem o neurônio receptor).

• Quando o efeito cumulativo das várias sinapses que chegam a um neurônio excedem um valor limite, o neurônio dispara (fica ativo por um período) e envia um sinal para outros neurônios.;

• É um sistema de processamento de informações desenvolvido a partir de modelos matemáticos simplificados dos neurônios biológicos (Reali).

• Sistemas paralelos distribuídos compostos por unidades de processamento simples (nodos) que computam determinadas funções matemáticas (normalmente não lineares).
• As unidades são dispostas em uma ou mais camadas e interligadas por um grande número de conexões, geralmente unidirecionais.
• Na maioria dos modelos estas conexões estão associadas a pesos, os quais armazenam o conhecimento representado no modelo e servem para ponderar a entrada recebida por cada neurônio da rede.

História das Redes Neurais Artificiais

Nascimento e morte                 40 – 60

• 1943

• Neurônio booleano - Warren McCulloch & Walter Pitts;

• 1949

• Aprendizagem através da variação dos pesos de entrada (Regra de Hebb) - Donald Hebb;

• 1951

• Primeiro neurocomputador com capacidade de aprendizado (ajustava automaticamente os pesos entre as sinapses) – Marvin Minsky.

• 1958

• Criado o “perceptron”, uma rede neural usada no reconhecimento de caracteres – Frank Rosenblatt.

• 1960

• regra delta baseada no método do gradiente - Widrow e Hoff;

• 1969

• Minsky e Papert chamam a atenção para tarefas que o perceptron não consegue executar.

• Só resolve problemas linearmente separáveis;
• Banimento das RNAs para o submundo

• 1972

• Redes auto-organizáveis - Kohonen;

• 1974

• Werbos lança bases para o algoritmo backpropagation.

• 1976

• Teoria de Ressonância Adaptativa - Grossberg & Carpenter.

• 1982

• Propriedades associativas das redes neurais artificiais - John Hopfield, retomada das pesquisas na área;

• 1986

• Algoritmo backpropagation (Rumelhart, Hinton e Williams);

• 1987

• Redes de Hopfield ( Hopfield & Tank );

• 1988

• Redes Neocognitron ( Fukushima );
• RBF (Broomhead e Lowe).

História das Redes Neurais Artificiais

Idade moderna – aplicação real 90..

• Aplicações no mundo real
• Teoria computacional da aprendizagem:

• support vector machines (Vapnik)
• aprendizado PAC (Anthony e Biggs).

Aplicações

• Reconhecimento de padrões
• Agrupamento/categorização
• Aproximação de funções

• Predição/prognóstico
• Otimização

• Predição/prognóstico
• Otimização

• Recuperação por conteúdo
• Controle

RNA

• “Redes Neurais Artificiais (RNAs) são sistemas físicos celulares que podem adquirir armazenar e utilizar conhecimento extraído da experiência, por meio de algoritmos de aprendizagem”.
• O elemento processador básico da rede (célula) é o neurônio artificial.
• A computação por rede neural é realizada por uma malha de nós processadores (neurônios) conectados.
• O conhecimento em uma rede neural é codificado através dos pesos sinápticos das conexões entre estes neurônios.
• Algoritmos de aprendizagem em RNAs ajustam os valores dos pesos sinápticos à um determinado problema específico.

• Aprendizado:

• RNA pode modificar seu comportamento em respostas a seu domínio, de forma a produzir saídas consistentes.

• Generalização:

• Uma vez treinada, a resposta de uma RNA pode ser, num certo grau, insensível a pequenas variações (ruídos, distorções) nas suas entradas.

• Abstração:

• Algumas RNAs podem extrair “um ideal” a partir de exemplos imperfeitos na sua entrada

• O projeto de uma RNA envolve a determinação dos seguintes parâmetros:

• Neurônios e função de ativação.
• Conexões e disposição dos neurônios: topologia (arquitetura da rede).
• Pesos sinápticos: valores ou (no caso de pesos aprendidos) o algoritmo de treinamento a ser utilizado e seus parâmetros particulares.
• Recall: procedimento a ser utilizado – como a rede calcula a saída para uma dada entrada?ideal” a partir de exemplos imperfeitos na sua entrada.

O neurônio artificial

O neurônio artificial é um modelo simplificado e simulado do neurônio real e suas características básicas são a adaptação e a representação de conhecimentos baseada em conexões.

[pic 1]

• Função de Ativação g:

• Função aplicada sobre o nível de ativação (in) para produzir o sinal de saída.

• Nível de Ativação (in):

• Soma ponderada do vetor de entradas.

Funções de ativação

[pic 2]

Aprendizado

• Aprendizado:

• Consiste em escolher valores para os pesos de entradas (w0, ..., wn).

• Algoritmo de Treinamento: Hebb

• Hebb(1961) propôs um modelo para o aprendizado no qual o peso é incrementado se os neurônios de entrada () e saída ()) forem ativados - caminhos frequentemente usados na rede são reforçados![pic 3][pic 4]

• Os pesos são aumentados de acordo com o produto dos níveis de excitação dos neurônios fonte e destino.

• α: taxa de aprendizagem, com α  ]0,1][pic 5]

[pic 6]

...