Interacão Humano-Computador Utilizando T´ecnicas de Visão Computacional

Interac¸a˜ o Humano-Computador Utilizando Te´cnicas de Visa˜ o

Computacional

Alessio Delazari1 , Jonas Rotta1, Antonio Carlos Sobieranski1,  Eros Comunello1

1 LAPIX - Laborato´ rio de Processamento de Imagens e Computac¸a˜o Gra´fica - The Cyclops Group

INE - Departamento de Informa´tica e Estat´ıstica

Universidade Federal de Santa Catarina - UFSC - Brasil

{alessio,  jonas, asobieranski, eros}@cyclops.ufsc.br

Abstract.  In this paper a novel computational approach  for human-machine interaction using computer vision techniques is presented. In order to propose a low-cost methodology, only common web-cams are used, where their frames are captured and processed using computer vision techniques. Two application contexts are  presented:  the environment control using actions from the user defined by free-hand; targets identification to apply the user to the environment

- extended reallity. The preliminary results we obtained have shown the viability of the proposed approach for the presented contexts.

Resumo.  Neste artigo sera´ apresentado uma metodologia computacional para a interac¸a˜ o humano-computador utilizando te´cnicas de visa˜ o computacional. Para  tal, sera˜ o utilizadas imagens providas a partir  de uma webcam junta- mente com te´cnicas de processamento digital de imagens, com o objetivo de ser uma metodologia de baixo custo. Dois contextos sera˜ o explorados: controle do ambiente utilizando ac¸o˜ es do usua´ rio a` ma˜ o livre; identificac¸a˜ o de objetos de interesse para imersa˜ o do usua´ rio no ambiente - realidade estendida. Os re- sultados preliminares demonstram a viabilidade da metodologia proposta para os contextos apresentados.

1. Introduc¸a˜ o

A a´rea de interac¸a˜o humano-computador vem se destacando nos

---

u´ ltimos anos como

uma tecnologia promissora. Seu maior impulso deve-se principalmente a a´rea de jogos eletroˆ nicos, que cada vez mais exigem a inserc¸a˜o do jogador em ambientes de realidade virtual. Entretanto, muitos outros ambientes veˆm-se utilizando desta tecnologia tambe´m para aplicac¸o˜ es de v´ıdeo e tele-confereˆncia, aux´ılio portadores de deficieˆncia f´ısica, e outras aplicac¸o˜ es que objetivem a simples utilizac¸a˜o do mouse e teclado.

Dentre as diversas te´cnicas e formas de interac¸a˜o, entretanto, destacam-se os Data- Glovers, um equipamento composto por uma luva com sensores para a imersa˜o em re- alidade virtual, sendo que com tais sensores e´ poss´ıvel a aquisic¸a˜o de informac¸o˜ es es- paciais e de flexionamento de cada um dos dedos.  Outros dispositivos sa˜o os o´ culos para visualizac¸a˜o em perspectiva 3D, que basicamente podem ser divididos em 3 cate- gorias: ana´glifo, utilizando-se de filtros de cores complementares entre vermelho e azul, onde a imagem visualizada proporciona sensac¸o˜ es de 3D e imersa˜o espacial; polariza- dos, onde as imagens sa˜o separadas atrave´s da luz e as suas caracter´ısticas de cores na˜o

---

sa˜o alteradas, mesmo que com uma pequena perda de luminosidade; alternativos, as im- agens da esquerda e da direita sa˜o apresentadas sequ¨ encialmente, e sincronizadas atrave´s de o´ culos dotados de obturadores de cristal l´ıquido, de modo que cada olho perceba a sua imagem correspondente.  Algumas destas tecnologias sa˜o atualmente empregadas em monitores convencionais LCD, TV e cinemas 3D de u´ ltima gerac¸a˜o, e devido a sua elevada frequ¨ eˆncia de operacionalizac¸a˜o sa˜o impercept´ıveis ao olho humano, proporcio- nando a imersa˜o em um ambiente 3D. Outros meios de interac¸a˜o humano-computador, as- sim como mouse e teclados, sa˜o totalmente f´ısicos, e o movimento sa˜o matematicamente traduzidos em uma sequ¨ eˆncia bina´ria. Este tipo de interac¸a˜o e´ diretamente traduzida para um ambiente virtual, sendo algo naturalmente realizado pelas gerac¸o˜ es mais novas atrave´s das gerac¸o˜ es medianas de videogames.

As tecnologias anteriormente especificadas, de certa forma as mais recentes, en- volvem um custo elevado para a sua aquisic¸a˜o.   Uma nova modalidade de interac¸a˜o humano-computador que vem emergindo e´ atrave´s da combinac¸a˜o de recursos ja´ exis- tentes em qualquer computador residencial: as webcams. Webcams capturam continua- mente as imagens contidas no ambiente, e atrave´s de sua sequ¨ encia temporal, sa˜o codifi- cadas em v´ıdeo. Atrave´s da utilizac¸a˜o de te´cnicas de processamento digital de imagens (PDI), a identificac¸a˜o de ac¸o˜ es pre´-definidas dos usua´rios podem ser realizadas atrave´s da codificac¸a˜o de movimentos em ac¸o˜ es. Alguns trabalhos correlatos podem ser encontrados na literatura: em [Bandera et al. 2009] foi proposto o desenvolvimento de uma interface de interac¸a˜o homem-roboˆ , com uma abordagem a dois n´ıveis para reconhecer gestos que sa˜o compostos de trajeto´ rias seguidas de diferentes partes do corpo.  Em um primeiro n´ıvel, trajeto´ rias individuais sa˜o descritas por um conjunto de pontos-chave. Em um se- gundo n´ıvel, os gestos sa˜o caracterizados atrave´s de propriedades globais das trajeto´ rias que as compo˜ em. Em [Rodriguez et al. 2004] foi apresentado uma nova abordagem para a medic¸a˜o da similaridade entre curvas 3D. Este trabalho permite a possibilidade de usar strings, onde cada elemento e´ um vetor em vez de apenas um s´ımbolo. Foram propostas

duas abordagens diferentes para a representac¸a˜o de curvas 3D. Uma possibilidade e´ a

de representar uma curva em 3D como duas curvas 2D, sendo uma projec¸a˜o da curva

3D no plano xy, e outro no plano yz.  Para os casos invariaˆncia e rotac¸a˜o geome´trica utilizou-se uma segunda abordagem para a representac¸a˜o simbo´ lica da curva 3D usando a curvatura e a tensa˜o como a sua representac¸a˜o simbo´ lica.  Em [Chen et al. 2005] faz uma considerac¸a˜o importante na similaridade baseada em recuperac¸a˜o de trajeto´ rias de objetos em movimento e´ a definic¸a˜o de uma func¸a˜o de distaˆncia. As func¸o˜ es distaˆncia existentes sa˜o geralmente sens´ıveis ao ru´ıdo, desvios e dimensionamento de dados que geralmente ocorrem devido a falhas de sensores, erros de te´cnicas de detecc¸a˜o, os sinais de perturbac¸a˜o, e taxas de amostragem diferentes. Limpeza de dados para eliminar estes nem sempre e´ poss´ıvel.  Neste trabalho uma nova me´trica de distaˆncia foi apresentada, chamada Edit Distance Real (EDR), que e´ robusto contra estas imperfeic¸o˜ es de dados. Ana´lise e comparac¸a˜o dos EDR com outras func¸o˜ es distaˆncia populares, tais como a distaˆncia Euclidiana, Dynamic Time Warping (DTW), Edit distaˆncia com o Real Penalty (ERP), e Longest comum subsequ¨ eˆncias (LCSS), indicam que EDR e´ mais robusta do que a distaˆncia euclidiana, DTW e ERP, e e´ em me´dia 50% mais precisos que LCSS. Tambe´m desenvolvemos treˆs te´cnicas de poda para melhorar a eficieˆncia de recuperac¸a˜o de EDR e mostrar que essas te´cnicas podem ser combinadas de forma eficaz em uma pesquisa, au- mentando o poder de poda de forma significativa. Os resultados experimentais confirmam