SLIDE BOW & VLAD

[pic 1]

Extração de Características Usando Vetor de Descritores Localmente Agregados

[pic 2]

RICARDO COSTA DA SILVA MARQUES

ORIENTADOR: GERALDO BRAZ JUNIOR

---

[pic 3]Bag of Words

• É uma representação simplificada do processamento de linguagem natural.

• Neste modelo um texto é representado como um multiconjunto de suas palavras.

–  Ex:

• John likes to watch movies. Mary likes movies too.

• John also likes to watch football games.

{"John", "likes", "to", "watch", "movies", "also", "football", "games", "Mary", "too" }

[pic 4]

1

---

[pic 5]Bag of Visual Words

• No campo de Visão Computacional, para representar uma imagem usando BoW, tal imagem deve ser tratada como um documento.
• BoW model é o histograma de representações visuais baseadas em características independentes.

[pic 6]

2

---

[pic 7]Bag of Visual Words

[pic 8]

3

---

[pic 9]Representação de um BoW

• Usualmente esse processo está dividido em três passos:

– Feature Detection: computar abstrações em informações retiradas de imagens.

– Feature Descriptor: a imagem é abstraída em patches. Onde cada patch é representado por um vetor com descritores de características.

– Codebook Generation: converter os vetores de representação em “codewords” e por fim gerar o dicionário.

[pic 10]

4

---

[pic 11]Representação de um BoW

[pic 12]

5

---

[pic 13]Representação de um BoW

[pic 14][pic 15]

6

---

[pic 16]Feature Detection

• Tem como objetivo encontrar pontos na imagem que servirão para caracterizar a mesma.

• Algoritmos:

–   Harris Corner Detector

–   SIFT

–   SURF

–   BRIEF

–   FAST

–   ORB

–   etc...

[pic 17]

7

---

[pic 18]SIFT

(Scale Invariant Feature Transform)

● Foi proposto em por Lowe [2004] para resolver problemas relacionados a:

• Rotação

• Mudança de Escala

• Deformações

• Diferentes View Points

• Ruídos

• Mudanças de Iluminação

[pic 19]

8

---

[pic 20]SIFT

(Scale Invariant Feature Transform)

●  Detectar Extremos de Escala-Espaço

[pic 21]

G é a função Gaussiana

I é a imagem

9

---

[pic 22]SIFT

(Scale Invariant Feature Transform)

●  Função Gaussiana

[pic 23][pic 24]

10

---

[pic 25]SIFT

(Scale Invariant Feature Transform)

●  Resultado da Função Gaussiana

[pic 26]

11

---

[pic 27]SIFT

(Scale Invariant Feature Transform)

• Detecção dos Keypoints

• Cada Keypoint possui uma assinatura de orientação, caso a imagem seja rotacionada, o vetor que o descreve não perde informação.

• As informações que o definem são obtidas através da magnitude do gradiente local de cada patch na imagem.

[pic 28]

12

---

[pic 29]SIFT

(Scale Invariant Feature Transform)

●  Detecção dos Keypoints

[pic 30]

13

---

[pic 31]SIFT

(Scale Invariant Feature Transform)

●  Representação dos Keypoints

[pic 32][pic 33]

14

---

[pic 34]SIFT

(Scale Invariant Feature Transform)

• Patchs com pouca variação de intensidade são descartados.

• Áreas que agrupam cantos, bordas, curvaturas possuem maior agrupamento de informações relevantes.

[pic 35]