Categorias
Texto

O que é política pública baseada em evidência?

*Por Ana Luiza Pessanha e Paula Pedro

Com os recentes movimentos de renovação política é possível que o leitor já tenha ouvido a expressão “política pública baseada em evidência”. A compreensão do significado desse termo é de fundamental importância não apenas para a fase de identificação dos candidatos comprometidos com uma gestão pública eficaz como também para a etapa de acompanhamento e cobrança daqueles que foram eleitos. Dessa forma, esse texto tem como objetivo apresentar para o leitor leigo como políticas públicas devem ser formuladas.

Para realizar o desenho de uma política pública os seus formuladores precisam construir uma cadeia causal chamada Teoria da Mudança. O primeiro passo consiste na identificação correta do problema a ser enfrentado (propósito), a sua população-alvo e o resultado que se espera alcançar com a política. Após essa etapa, precisamos identificar quais são os insumos/atividades necessários para gerar o produto que irá resultar no objetivo final. Isto é, descrever uma relação de causa e efeito entre as etapas e definir indicadores que permitam a sua quantificação. Dessa forma, podemos resumir a hipótese causal da seguinte forma: “Se atividades geram produtos, isto deveria levar a resultados intermediários que ao final melhorarão resultados finais, contribuindo para o propósito” [1]. Essa cadeia lógica deve ser utilizada no desenho de qualquer política pública.

A Figura 1 abaixo traz o exemplo de uma Teoria da Mudança aplicada ao programa “Um computador por aluno”. Tal programa teve como objetivo melhorar o desempenho escolar dos alunos. Para isso, utilizou dois insumos/atividades: entrega de laptops com material didático para cada aluno e um curso de capacitação para os professores. Se essa etapa fosse executada de forma correta, era de se esperar que tivéssemos como produto professores qualificados e alunos com laptops. Então, isto deveria levar a maior tempo de dedicação a lições de casa, aulas mais divertidas e de melhor qualidade e a maior presença e matrícula dos alunos. Por fim, esses resultados intermediários deveriam contribuir para a melhora do desempenho dos alunos.

FIGURA 1 – Teoria da Mudança do programa “Um computador por aluno”

Fonte: Curso Avaliação de Impacto de Políticas e Programas Sociais. Disponível em: https://www.escolavirtual.gov.br/curso/98

A construção de uma boa Teoria da Mudança é o que torna possível executar uma avaliação de impacto de forma rigorosa. O impacto causal de uma política consiste na diferença entre o resultado alcançado pelos beneficiários após participarem do programa e o resultado que esses mesmos beneficiários obteriam caso não tivessem participado do programa. O primeiro grupo é chamado de grupo de tratamento e o segundo é chamado de grupo de controle (ou contrafactual). Percebam, porém, que o grupo de controle é uma situação hipotética, ou seja, que o avaliador não consegue observar no mundo real. Essa distinção entre grupo de controle e grupo de tratamento é fundamental por dois motivos. Primeiro, para conseguirmos isolar a relação de causa- e-efeito. Segundo, para avaliarmos se todos os insumos e atividades do programa foram necessários para obter o impacto encontrado.

Na prática [2], a aplicação destes conceitos teóricos é bastante simples. Por exemplo, como conseguimos isolar o impacto do Programa Criança Feliz (PCF) do impacto do Programa Bolsa Família (PBF), destinados à mesma população? Basta selecionar um grupo de potenciais participantes e, por sorteio, escolher quais famílias receberão o PCF primeiro. A comparação entre esses dois grupos é o impacto do PCF nessas famílias. Mas isso é ético? No caso do PCF e da maioria dos programas sociais, infelizmente, não há recursos para todas as famílias potencialmente beneficiárias. Isso significa que algum tipo de escolha precisa ser feita sobre quem recebe primeiro. A alocação por sorteio é uma maneira equitativa de fazer essa escolha [3].

O(a) leitor(a) deve estar se perguntando por que todo esse processo é importante. Dado que os recursos humanos e financeiros do poder público são limitados, os governantes precisam determinar em quais políticas devem alocar esses recursos, de forma a atender as demandas da população de forma eficaz e eficiente. Esses são conceitos geralmente utilizados como sinônimos, erroneamente. Uma política é eficaz quando ela atinge o seu objetivo/meta, enquanto uma política eficiente é aquela que é eficaz a um menor custo. Dessa forma, uma outra etapa importante no processo de formulação de política pública é a análise de custo-efetividade do programa, que nos permite comparar o impacto relativo de diversos programas e com isso, determinar qual deles deve receber a atenção (recursos) do poder público. A avaliação de impacto e análise de custo-efetividade são as ferramentas que nos permitem identificar se a política implementada precisa ser redesenhada, expandida ou encerrada.

Tomemos o exemplo de uma série de políticas com o objetivo de aumentar a permanência de estudantes nas escolas, realizadas em diversos países. A figura 2 abaixo traz a comparação do custo-efetividade de cada um desses programas, medido por anos adicionais de escolaridade para cada 100 dólares gastos no programa. Analisando a figura da esquerda para direita, a primeira barra corresponde a um programa de redução do tempo de deslocamento para as escolas, que obteve resultado de 1,44 anos adicionais de escolaridade para cada 100 dólares gastos. O segundo grupo corresponde a um conjunto de programas que concediam bolsas de estudo, uniformes, ou transferências condicionais de renda destinada a gastos educacionais. A figura nos mostra que esse segundo grupo de intervenções teve custo-efetividade muito baixo. O terceiro grupo consiste em um conjunto de programas com o intuito de reduzir a mortalidade infantil, dado que doenças como anemia e infecção tornam a frequência escolar mais difícil. O quarto grupo corresponde a uma política cujo objetivo era de prover informação sobre os benefícios de se manter na escola. O quinto grupo consiste em um conjunto de políticas para aumentar a qualidade das aulas, como monitoramento por câmera e acesso a computadores. Por fim, a última barra consiste em um programa específico para meninas, por meio da distribuição de absorventes. Conforme podemos ver, o grupo de políticas com maior custo-efetividade, ou seja, que promoveram mais anos adicionais de escolaridade para a mesma quantia de recursos gasta, foi o conjunto de políticas para melhorar a saúde das crianças.

FIGURA 2 – Análise de custo-efetividade de programas visando a participação escolar

Fonte: J-PAL. Disponível em: https://www.povertyactionlab.org/policy-insight/reducing-costs-increase-school-participation

Esse processo é o que define a expressão “política pública baseada evidência”. Ou seja, é o processo no qual formuladores de política utilizam todas as evidências (avaliações de impacto e custo-efetividade) disponíveis para conseguir construir a teoria da mudança que vai originar a política pública que se deseja implementar. Outra questão importante nesse procedimento diz respeito ao conceito de validade externa. Uma avaliação de impacto possui validade externa quando ela pode ser replicável a contextos sociais e políticos não necessariamente iguais ao contexto original no qual foi formulada. Para identificarmos isso, precisamos combinar teoria econômica, evidências descritivas e as avaliações de impacto e custo-efetividade. Sendo assim, o formulador deve comparar a similaridade de cada etapa da teoria da mudança, identificar evidências de que o programa foi implementado corretamente do início ao fim e se a evidência indica uma mudança de conduta geral.

Como havíamos dito na introdução, esse é o processo pelo qual as políticas públicas deveriam ser formuladas. Mas na prática isso é possível? Pesquisas científicas podem de fato afetar as políticas que são implementadas? Políticos estão abertos a incorporar essas evidências? Um estudo da Diana Moreira e co-autores, realizado com prefeitos(as) de 2.150 municípios brasileiros mostra que sim [4]. No estudo, os autores concluíram que prefeitos(as) demandam conhecimento de evidências científicas, e levam essas evidências em consideração na hora de formular políticas.

No entanto, ainda existem muitos desafios e um longo caminho a percorrer para criarmos de fato uma cultura de política pública informada por evidência nas diversas instâncias da gestão pública. Primeiro, existe a percepção de que avaliações podem atrapalhar o dia-a-dia da gestão pública. Efetivamente, há um “custo de entrada”, já que é preciso ganhar conhecimento profundo sobre o programa para desenhar uma pesquisa realmente útil. Dito isto, pesquisadoras podem ir construindo uma relação mais a longo prazo com a organização, gerando uma série de avaliações ao invés de apenas uma – o que significa um ganho de escala. Além disso, pesquisadoras podem também apoiar em outras atividades, como a construção de um sistema de monitoramento ou a criação de processos para melhor tratamento dos dados administrativos.

Segundo, há o “risco gestor”: como fazer se a avaliação demonstrar que o programa não tem efeito? Precisamos passar a encarar a pesquisa científica não como uma auditoria e sim como um espaço para aprender. Desenhar uma política pública a partir de evidências disponíveis não é garantia de que ela irá funcionar em um determinado contexto. A inovação na gestão pública começa quando os gestores entendem que o risco de não ter os resultados desejados é parte integrante do processo de aprendizagem e deve ser visto como catalisadora do desenvolvimento. Uma boa gestão vai mais além do funciona/não funciona, testando diferentes estratégias (pilotos) para identificar a que funciona melhor.

Finalmente, existe o desafio temporal, já que os maiores benefícios da construção de uma cultura avaliativa são os de longo prazo. É no longo prazo, juntando evidências de diferentes países e contextos que as pesquisadoras conseguem identificar estratégias que funcionam em geral, fomentando um entendimento sobre o combate aos problemas sociais de maneira mais estrutural. Dito isto, entendemos que existem problemas urgentes, hoje, que precisamos endereçar com as ferramentas que temos. O convite é para fazer isso com as melhores ferramentas possíveis, acumulando novos conhecimentos que possam ser úteis no futuro.

O caminho é longo, porém possível. Países como o Perú, o Chile e a República Dominicana têm feito grandes avanços nesse sentido. O Brasil tem potencial para usar esses exemplos como bússola e ser também pioneiro na construção de uma cultura avaliativa sólida em todos os três níveis de governo. A inovação na gestão pública é um passo necessário para atingirmos um equilíbrio no qual o Estado age como reparador de desigualdades historicamente estabelecidas e promovedor da liberdade e potencialidade de todos os seus cidadãos.



Ana Luiza Pessanha é vice-presidente da Iniciativa RioMais. Economista pela UFRJ com foco em Pobreza e Desigualdade, tem experiência na criação de programas de governo.


Paula Pedro é Diretora Executiva do Poverty Action Lab-América Latina



* As opiniões expressas neste texto são de exclusiva responsabilidade do autor.
** Foto de Divulgação: Aaron Burden/Unsplash

Notas de Rodapé
[1] Citação retirada do material do Curso Avaliação de Impacto de Políticas e Programas Sociais. Disponível em: https://www.escolavirtual.gov.br/curso/98
[2] Caderno de Estudos SAGI/MDS #28. Disponível em: https://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/caderno_estudos_28.pdf
[3] Se a tomadora de decisão acreditar que existe mais urgência em priorizar um subgrupo, isso também pode ser incorporado no desenho do estudo.
[4] Moreira, D. et al (2019) How research affect policy: Experimental evidence from 2,150 Brazilian Municipalities. Disponível em: https://www.nber.org/papers/w25941.pdf