As Avaliações Vão Para a Gaveta? Uma revisão teórica dos fatores relacionados ao uso de avaliações de políticas públicas

A avaliação de políticas públicas, programas e projetos governamentais tem finalidades bastante precisas como estabelecer elementos para julgar e aprovar decisões, ações e seus resultados; desenvolver e melhorar estratégias de intervenção na realidade, ou seja, a avaliação tem que ser capaz de propor algo a respeito da política que está sendo avaliada; e empoderamento, promoção social e desenvolvimento institucional, significando que a avaliação deve ser capaz de abrir espaço para a democratização da atividade pública, para a incorporação de grupos sociais excluídos e para o aprendizado institucional e fortalecimento das instituições envolvidas. Toda avaliação tem que enfrentar uma série de desafios, deve lidar com as limitações das suas principais fontes de informações já que são registros administrativos. As informações dos beneficiários colocam a necessidade de construir instrumentos fidedignos de coleta, bases de dados precisas e confiáveis o suficiente para sustentar as apreciações a serem feitas. Assim, quanto mais sólido o treinamento metodológico do avaliador, melhor, embora a avaliação não se resuma à aplicação de técnicas metodológicas. A influência do contexto também norteará a dificuldade do examinador.

Embora seja clara a percepção da importância, o crescimento do campo e o aumento dos investimentos realizados nessa área de avaliações, observa-se uma questão que merece destaque nesse debate: a utilização. Mesmo que exista um consenso inegável sobre o valor das avaliações de programas governamentais para a efetividade da administração pública, em suas várias instâncias governamentais, pouca atenção tem sido dada à apropriação, pelos gestores dos programas, políticos e formuladores de políticas, dos resultados das avaliações. Tendo em vista a instituição tardia do conceito de avaliação no Brasil, percebe-se uma insuficiência de literatura em língua portuguesa que trata o tema. Sendo assim atenta-se para a necessidade de formar um referencial coeso e completo sobre a utilização dos resultados das avaliações, seja para inserir o país no debate internacional, seja para evitar o desperdício de gastos com avaliação sem a apropriada utilização de seus resultados. Apesar do crescente interesse em avaliações de programas governamentais no Brasil, é possível observar certa escassez de estudos teóricos nacionais que permitam verificar a utilização de tais avaliações como instrumento de correção de rumos e aprimoramento dos serviços públicos.

No que se refere a utilização dos dados resultantes da avaliação, os autores afirmam que o emprego dos resultados das mesmas – sejam informações, interpretações, dados ou recomendações - são importantes para a tomada decisão governamental. Diversos autores acreditam que a utilização é um tema complexo, relacionado a diversas variáveis, que podem

influenciar de forma positiva ou negativa o uso.

Já as diferentes dimensões da utilização admite diferentes formas, desde os mais tímidos, até aqueles que causam verdadeiras mudanças nos programas e pessoas envolvidos em uma avaliação. Considerando o uso instrumental percebemos que seu uso é comum quando o avaliador entende bem o funcionamento do programa avaliado e suas questões, conduz a avaliação de forma adequada e comunica os resultados de forma satisfatória (Weiss, 1998). Nesse uso existe três condições: as conclusões das avaliações não são controversas, nem provocam conflitos de interesse na estrutura da organização; as mudanças a serem implementadas encontram-se dentro do escopo de atuação do programa e não provocam grandes rupturas no funcionamento do programa; o ambiente do programa é relativamente estável, não apresentando dúvidas quanto ao seu orçamento, público-alvo, implementação, entre outros; e quando o programa se encontra em uma situação de crise e ninguém sabe qual a melhor maneira para agir, a utilização instrumental de uma avaliação pode ser favorecida.

Outra dimensão da utilização da avaliação é o uso conceitual que caracteriza-se pela capacidade de influenciar a opinião dos técnicos a respeito de um determinado programa, sem que exista qualquer ação em decorrência dos resultados de uma avaliação. Contudo, como afirmado por Weiss (1998), quando as condições organizacionais se tornam favoráveis, os técnicos podem utilizar as novas ideias e conceitos apreendidos para introduzir mudanças nos programas de maneira instrumental.

Entretanto, quando a avaliação é utilizada na dimensão simbólica ou política, os tomadores de decisão já possuem conhecimento sobre o que seria necessário mudar em um determinado programa, e, nesse sentido, as avaliações servem para justificar o processo de mudança. Nessa dimensão, os coordenadores de programas já possuem conhecimento das necessidades de seus programas, suas reformulações e mudanças, que seriam implementadas de qualquer maneira, e as avaliações têm a função de legitimar o processo e ganhar adeptos, servindo como instrumento de persuasão (Weiss, 1998).

Uma última dimensão seria a responsável pelo uso das avaliações, conceituada como “enlightenment”. Essa justifica-se uma vez que as conclusões de uma avaliação podem ultrapassar seus limites originais e pautar, não somente os coordenadores de programas avaliados, mas uma determinada comunidade acadêmica interessada nos resultados de dada política pública e coalizões políticas.

Os autores defendem três estudos principais que que contribuíram para a pesquisa sobre as variáveis que influenciam a utilização das avaliações: (1) o estudo de Cousins e Leithwood (1986), que tiveram por objetivo identificar os estudos empíricos sobre uso das avaliações conduzidos entre 1971 e 1985; (2) o trabalho de Shulha e Cousins (1997), que conduziram um trabalho semelhante ao já realizado em um período diferente, dessa vez de 1986à 1997; e, por fim, (3) o estudo de um grupo de pesquisadores (Johnson et al., 2009), que se dedicou a uma pesquisa sobre a utilização das avaliações nos principais periódicos de avaliação em um período de 25 anos, compreendido entre 1986 a 2005.

O primeiro estudo evidenciou relações entre as características pessoais do tomador de decisão, como liderança, experiência, treinamento e papel na organização, e utilização das avaliações. No entanto, de acordo com os autores, as informações são conflitantes. Poucos estudos apoiaram a relação entre posição do tomador de decisão na hierarquia da organização e a adequada utilização das avaliações, ou seja, a ideia de que uma posição mais alta na hierarquia seria favorável ao uso. A relação entre fatores pessoais, como experiência,