A PROBLEMÁTICA DA INTELIGÊNCIA ARTIFICIAL E DOS VIESES ALGORÍTMICOS: CASO COMPAS

[pic 1]

A PROBLEMÁTICA DA INTELIGÊNCIA ARTIFICIAL E DOS VIESES ALGORÍTMICOS: CASO COMPAS

Leonardo Marques Vieira Universidade Presbiteriana Mackenzie GPDIT

Campinas, São Paulo [e-mail]

Resumo—Este artigo tem o intuito de analisar o risco das novas tecnologias, principalmente o programa COMPAS, o qual é usado para se avaliar o risco de reincidência de um réu em um processo criminal e quais são as possíveis reparações dos vieses existentes, haja vista que o preconceito poderá surgir em diversos estágios afetando a vida das pessoas no sistema jurídico criminal.

Palavra-chave— viés; algoritmo; inteligência artificial.

1. INTRODUCTION

Não é novidade que as informações que circulam na internet não são inseridas somente por pessoas, mas também por algoritmos e plataformas que trocam dados entre si. Vivemos em um mundo digital, onde o homem dialoga com máquinas fazendo com que os algoritmos passem a tomar decisões e determinar avaliações e inclusive ações que outrora eram feitas por humanos. Como a relação entre homens e as novas tecnologias disruptivas é algo recente, essa nova cultura provoca reflexões éticas relevantes, tendo em vista as consequências que podem ser causadas pela inteligência artificial.

De forma geral, os algoritmos são modelos matemáticos (softwares) ordenados para uma determinada finalidade, buscando padrões de números. Contudo, sabe-se que os algoritmos são falíveis e limitados, pois são opiniões embutidas em um código, por meio do qual o homem ensina a máquina, ou seja, a máquina poderá tomar decisões enviesadas com base nos dados fornecidos. Logo, torna-se necessário nutrir os dados de forma precisa para que a inteligência artificial não cometa erros e não seja discriminatória.

Os algoritmos estão presente em todos os lugares podendo influenciar a vida diária de cada indivíduo, estão presentes no mercado financeiro, na área jurídica e diversos outros lugares, inclusive definindo os conteúdos que recebem nas redes sociais. À vista disso, surgem novas preocupações em relação a transparência algorítmica, privacidade pessoal e principalmente, aos vieses da inteligência artificial nos casos que envolvem raça, cor e gênero. Porém, como saber se um modelo de aprendizado de máquina é realmente justo? E o que significa justiça nesse modelo?

---

A inteligência artificial pode até ser inteligente, porém não possui a expertise de um humano, não é sábia. Tudo o que as máquinas sabem foi por que o homem o ensinou e em consequência, também ensinou os preconceitos ou aprenderam por meio do machine learning, tendo a capacidade de reproduzir os vieses humanos. Entretanto, para que não seja tarde demais, as pessoas devem tomar uma iniciativa para corrigir os vieses existentes em algoritmos. Nesse contexto de um mundo algorítmico a governança e proteção de dados são essenciais.

1. O VIÉS ALGORÍTMICO DO COMPAS

O algoritmo COMPAS (Perfil de Gerenciamento Corretivo de Infratores para Sanções Alternativas), foi elaborado pela empresa Northpointe (hoje com o nome Equivant), com o intuito de realizar avaliações de riscos sobre pessoas que voltam a praticar crimes, auxiliar nas informações de decisões e mitigar riscos futuros promovendo auxílio e orientação para os juízes nos tribunais dos Estados Unidos.

Esse algoritmo vinha sendo utilizado para determinar a probabilidade de reincidência de prisioneiros. Contudo, um estudo feito pela ProPublica (jornal de cunho investigativo) colocou em dúvida o seu uso, sendo constatado que o algoritmo era racialmente enviesado. O jornal conseguiu dados das pontuações de risco analisando mais de 7 mil pessoas presas no condado de Broward, Flórida nos anos de 2013 e 20141.

O score de avaliação de risco da empresa apontava as pessoas negras como de alto risco e as pessoas brancas como de baixo risco. Após as análises da ProPublica, detectaram que os negros que possuem alto risco não eram acusados de novos crimes e os brancos que eram caracterizados como de baixo risco vinham a cometer novos crimes, isto é, os negros tinham mais chances do que os bancos de serem taxados como alto risco. Observa-se que os dados eram viciados com

[pic 2]

1. Disponível em:

<https://www.propublica.org/article/machine-bias-risk- assessments-in-criminal-sentencing> Acesso em: 10 mai. 2019

informações anteriores, as quais influenciaram negativamente as decisões.

A empresa Equivant, mediante uma carta pública, refutou completamente da análise feita pela ProPublica dizendo que o software não possuía um viés racial e que seu algoritmo era preciso, além disso, concluíram que as análises feitas possuíam erros estatísticos e técnicos, tanto é que a empresa criou um relatório denominado “COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity” fornecendo uma resposta ao artigo publicado pela ProPublica2.

O software avalia diversos critérios dentre eles: história criminal, criminalidade da família, colegas, abuso de substâncias, residência/estabilidade, ambiente social, educação, trabalho, lazer/recreação, isolamento social, personalidade criminosa, raiva e atitudes criminosas. Para isso, eram feitas 137 perguntas a serem respondidas pelos réus em um questionário contendo também os antecedentes criminais dos envolvidos3. A cor não era uma variável evidente introduzida nesse algoritmo, mas raça e gênero são integrados em diversas outras variáveis, como por exemplo, onde moramos, nossas redes sociais e nossa educação. Era perguntado inclusive se o indivíduo participava de gangues, se possuía pais separados, se tinha amigos presos, se no bairro em que vive era necessário portar arma e etc. Ao final desses questionamentos o algoritmo confirmava o risco dos indivíduos reincidir, classificando assim como de baixo, médio ou alto risco. O uso do COMPAS para um policiamento preditivo se tornou uma grande preocupação.

Fato é que, quando o software ajudava os juízes nos tribunais dos Estados Unidos para formarem conclusões sobre o futuro dos réus a fim de condená-los, a análise era feita com base em informações de outras pessoas e supostamente prevendo a futura reincidência, o que é completamente contrário aos princípios da garantia do estado de inocência e o devido processo legal do direito penal, tirando a personalidade da condenação e da pena. Conforme o algoritmo se baseava no histórico de condenações anteriores ocorreu esse enviesamento. Sendo assim, os processos seriam considerados inquisitórios, pois o juiz não estaria sendo imparcial.