CURSO DE BACHARELADO EM SISTEMAS DE INFORMAÇÃO

[pic 1]

UNIVERSIDADE DE SA˜O PAULO ESCOLA DE ARTES, CIEˆNCIAS E HUMANIDADES

CURSO DE BACHARELADO EM SISTEMAS DE INFORMAC¸ A˜O

CAIO VALVERDE COLANERI GABRIEL RODRIGUES SANTOS

Registro,  transmiss˜ao  e  segmenta¸c˜ao  eficiente  de  dados  relevantes  para avalia¸c˜ao  da  experiˆencia  de  usu´ario  em  intera¸c˜ao  3D

S˜ao Paulo 2021

CAIO VALVERDE COLANERI GABRIEL RODRIGUES SANTOS

Registro,  transmiss˜ao  e  segmenta¸c˜ao  eficiente  de  dados  relevantes  para avalia¸c˜ao  da  experiˆencia  de  usu´ario  em  intera¸c˜ao  3D

Monografia  apresentada  `a  Escola  de  Artes, Ciˆencias   e   Humanidades   da   Universidade de   S˜ao   Paulo,   como   parte   dos   requisitos exigidos na disciplina ACH 2018 - Projeto Supervisionado  ou  de  Gradua¸c˜ao  II,  para obten¸c˜ao    do    t´ıtulo    de    Bacharelado    em Sistemas de Informa¸c˜ao.

Modalidade: TCC longo (1 ano) -  em grupo

Orientador: Prof. Dr. Joa˜o Bernardes

S˜ao Paulo 2021

COLANERI, Caio; SANTOS, Gabriel. Registro,  transmiss˜ao  e  segmenta¸c˜ao eficiente  de  dados  relevantes  para  avalia¸c˜ao  da  experiˆencia  de  usu´ario  em interac¸a˜o  3D. 2021. 51 f. Monografia (Bacharelado em Sistemas de Informac¸a˜o) – Escola de Artes, Ciˆencias e Humanidades, Universidade de S˜ao Paulo, S˜ao Paulo, 2021.

Apesar de ser uma t´ecnica que torna poss´ıvel a ana´lise e explorac¸a˜o de dados de natureza multidimensional,  a  intera¸c˜ao  3D  enquanto  componente  em  Sistemas  de  Informa¸c˜ao  ´e visto como sendo dif´ıcil de ser implementado em fun¸c˜ao de, dentre outras coisas, a falta de m´etodos e crit´erios para sua avalia¸c˜ao de User Experience (UX), o que impossibilita prever  sua  aceita¸c˜ao  e  utiliza¸c˜ao  na  pr´atica.  A  fim  de  contribuir  para  a  viabiliza¸c˜ao  e execuc¸a˜o de um experimento que visa avaliar se uma nova t´ecnica de avaliac¸a˜o UX baseada no reconhecimento de emo¸co˜es faciais ´e eficiente em cen´arios de intera¸cao 3D, o presente trabalho  buscou,  atrav´es  de  uma  revis˜ao  bibliogr´afica,  propor  uma  metodologia  para  a execuc¸a˜o desse experimento e desenvolver proto´tipos para realizac¸a˜o de cada uma de suas etapas, chegando `a uma pipeline que faz uma grava¸c˜ao em v´ıdeo da cˆamera do usu´ario usando o padra˜o de codificac¸a˜o H.264/Advanced Video Coding  (AVC), registro textual com timestamp dos eventos do jogo, transcoding  do v´ıdeo para padr˜ao H.265/High  Efficiency Video Coding  (HEVC) usando o bina´rio ffmpeg, transmissa˜o utilizando protocolo Grid File Transfer  Protocol  (GridFTP) e segmentac¸a˜o de faces usando Haar  Features  considerando um pr´e-processamento composto pelo uso das t´ecnicas Gamma Intensity Correction  (GIC) e Histogram Equalization (HE).

Palavras-chaves: 3D. Intera  a˜o 3D. UX Avaliac¸a˜o de UX. Captura de v´ıdeo. Unity. Com-

pacta¸c˜ao de v´ıdeos. Segmenta¸c˜ao de Faces. Transferˆencia de arquivos.

COLANERI, Caio; SANTOS, Gabriel. Registro,  transmiss˜ao  e  segmenta¸c˜ao eficiente  de  dados  relevantes  para  avalia¸c˜ao  da  experiˆencia  de  usu´ario  em intera¸c˜ao  3D. 2021. 51 p. Monograph (Bachelor of Information Systems) – Escola de Artes, Ciˆencias e Humanidades, Universidade de S˜ao Paulo, S˜ao Paulo, 2021.

Despite being a technique that makes the analysis and exploration of multidimensional data possible, 3D interaction as a component in Information Systems is seen as being difficult to be implemented due to, among other things, the lack of methods and criteria for its User Experience (UX) assessment, which makes it impossible to predict its acceptance and use in practice. In order to contribute to the feasibility and execution of an experiment that aims to assess whether a new UX assessment technique based on the recognition of facial emotions is efficient in 3D interaction scenarios, the present work sought, through a literature review, to propose a methodology to carry out this experiment and develop prototypes to carry out each of its steps, arriving at a pipeline that makes a video recording from the user’s camera using the encoding standard H.264/Advanced Video Coding (AVC) , textual record with timestamp of game events, transcoding of video to H.265 standard/High Efficiency Video  Coding  (HEVC) using binary ffmpeg, transmission using protocol Grid File Transfer Protocol (GridFTP) and face segmentation using Haar Features considering a pre-processing composed by the use of Gamma Intensity Correction (GIC) and Histogram Equalization (HE).

Keywords: 3D. 3D Interaction. UX Evaluation. Video capture. Unity. Video compression. Faces segmentation. File transfer.

Figura 1   –   Artefatos Temporais e Espaciais        14

Figura 2   –   Classifica¸c˜ao das t´ecnicas de detec¸c˜ao de faces         16

Figura 3   –   Haar-like  features  usados para o m´etodo de detecc¸a˜o de faces Viola-Jones  17 Figura 4   –   Efeitos das t´ecnicas de pr´e-processamento mas comuns         18

Figura 5   –   Printscreen da tela do jogo em desenvolvimento        19