Blog do IBRE

Taxas de respostas em pesquisas realizadas por entrevistas tem caído no mundo, afetando  a credibilidade dos inquéritos. Quais as causas do fenômeno, e como os profissionais da área e acadêmicos vêm enfrentando o problema?

Contexto internacional - Ainda que pouco discutida no Brasil, uma questão tem tirado o sono de institutos privados, governos e analistas econômicos nos EUA e Europa: o aumento das taxas de não resposta em vários tipos de pesquisas de levantamento (que envolvem entrevistas ou questionários), em especial nas que coletam informações de domicílios ou de indivíduos.

A taxa de não resposta pode ser definida como a razão entre: i) o número de questionários ou itens de um questionário não respondidos e ii) o total de questionários ou itens para os quais se esperava resposta[1].  Há, portanto a chamada não resposta de unidade (quando, por exemplo, não se consegue aplicar o questionário a um domicílio ou a uma empresa), e a taxa de não resposta de item, quando o questionário é aplicado, mas uma ou mais perguntas não são respondidas. 

É possível também dividir a não resposta em dois ou três tipos: não-contato (quando não se consegue contatar o domicílio ou o indivíduo selecionado para participar da amostra), recusa (quando o contato é estabelecido, mas a pessoa não quer colaborar com a pesquisa), havendo ainda casos, numa tradução livre, de “inabilidade”,  quando o entrevistado é contactado e até gostaria de colaborar, mas não consegue, por exemplo devido a problemas relacionados ao idioma (principalmente em países com fortes fluxos migratórios). A figura abaixo, extraída de um documento de 2018 que alinha procedimentos para a execução do European Social Survey[2], apresenta uma boa representação esquemática dos tipos de não resposta.

As causas para cada tipo de não resposta, como se pode intuir, são diferentes. A impossibilidade de contato, por exemplo, pode ser atribuída ao fato de não se conseguir contactar um domicílio porque houve uma mudança de número de telefone, ou ao fato de a pessoa a ser contactada não se encontrar em casa no momento em que é visitada pelo entrevistador porque está trabalhando.

Há algumas causas que de certa forma são um mix de não contato e recusa, como por exemplo o uso de identificadores de chamada telefônica, que faz o potencial entrevistado evitar a aproximação do entrevistador. Preocupações em relação à segurança, o excesso de pesquisas (o que às vezes ocorre em países com maior desenvolvimento econômico), o fato de alguns questionários serem muito longos e a preocupação com privacidade estão entre as causas de não resposta por recusa, também podendo ser citadas motivações políticas (por exemplo, um entrevistado pode estar mais propenso a responder uma pesquisa conduzida por um órgão público caso o chefe do Executivo seja alguém que ele apoia) e, mais recentemente, o fato de que uma parte dos entrevistados, como os mais jovens, preferirem lidar com um outro tipo de meio de troca de informações, como a internet - em detrimento do contato “face a face” ou questionários em papel. 

Na verdade, há muito se discute o que motiva a não resposta, e quais os seus possíveis impactos sobre o resultado das pesquisas, havendo uma considerável literatura a respeito. Em 1990 ocorreu o primeiro International Workshop on Survey Nonresponse, que teve edições posteriores em vários anos.  A não resposta também foi objeto de números especiais em publicações especializadas ainda em 1999, 2001 e 2006, e em 2010 a National Academy of Sciences, um relevante agrupamento de acadêmicos dos EUA cuja missão é aconselhar sobre assuntos relacionados à ciência e à tecnologia, formou um painel de especialistas para debater o assunto e traçar estratégias para lidar com a questão[3].

Mas o que aumentou a preocupação nos últimos tempos foi a velocidade e magnitude de crescimento da não resposta em pesquisas ligadas a vários temas, conduzidas por diferentes instituições.

O Gráfico 1 apresenta a taxa de resposta (que pode ser vista como o inverso da taxa de não resposta) da pesquisa Current Population Survey (CPS), realizada pelo Bureau of Labor Statistics. É uma das principais fontes de informações sobre mercado de trabalho nos EUA, podendo ser comparada, de certa forma, à nossa PNAD Contínua Mensal. O que se percebe é que a taxa de resposta já vinha apresentando uma tendência de queda desde 2013, e sofre um baque durante a pandemia. Após o momento mais agudo da crise sanitária a taxa apresenta uma boa recuperação, mas posteriormente volta a cair. Até houve algum movimento de elevação ao longo do ano passado, mas em outubro de 2023, considerando a média móvel em doze meses, essa variável ainda se encontrava em um patamar 12 pontos percentuais inferior ao registrado em fevereiro de 2020.

Já no Gráfico 2 são mostradas as taxas de resposta de outra pesquisa importante nos EUA, o American Community Survey. É uma espécie de PNAD contínua anual, e procura trazer informações mais completas sobre as características demográficas, socioeconômicas e habitacionais dos domicílios nos períodos entre os censos populacionais decenais. A trajetória é semelhante à registrada pelo CPS, ainda que tenha havido oscilações nos anos de 2003 e 2013.

O caso que talvez mais chame a atenção, porém, é mostrado no Gráfico 3, referente ao Labour Force Survey, uma das mais importantes pesquisas do mercado de trabalho da Grã- Bretanha, país que tem um sistema estatístico reconhecido por sua boa qualidade. No início de 2023 a taxa de resposta chegou a menos de 20%, e a divulgação dos dados relativos a agosto daquele ano foi suspensa.[4]

Mas por que a queda das taxas de resposta é um problema? Porque há um grande temor de que o crescimento dos não respondentes leve a um dos principais erros não amostrais de uma pesquisa, que é fazer com que a estimativa produzida com base nos respondentes seja diferente da que seria produzida usando a amostra completa – um viés de não resposta, portanto.

Isso ocorre quando, no grupo de não-respondentes, a participação de indivíduos com uma certa característica é muito diferente da que é verificada na população como um todo. Se por exemplo, a proporção de pessoas que prefere um determinado candidato à presidência no grupo de não respondentes for significativamente diferente da proporção dessas pessoas no universo de eleitores, uma pesquisa eleitoral pode indicar um resultado divergente do que indicam as reais preferências dos votantes. Ou ainda, se a proporção de pessoas que tem uma ocupação, no grupo de não respondentes, diferir significativamente da proporção dessas pessoas no universo da população em idade ativa, uma pesquisa sobre mercado de trabalho corre o risco de trazer informações viesadas sobre a taxa de desemprego.

Aparentemente, o achado de vieses tem aumentado, em especial nas pesquisas realizadas pós pandemia; é importante, no entanto, ter em mente que a taxa de resposta não é, isoladamente, um indicador do viés de não resposta. Como mostram Koch e Blohm[5], o viés de não resposta, no caso de uma média, por exemplo, pode ser definido a partir da seguinte função multiplicativa:

Onde:

Note-se que, se a diferença entre a média da variável y entre os respondentes e os não respondentes for pequena, mesmo uma grande taxa de não resposta (poucos respondentes) pode não afetar tanto a estimativa da variável para população como um todo.

Por outro lado, imagine-se que a taxa de não resposta é pequena (muitos respondentes), mas a diferença entre a média da variável e entre os respondentes e os não respondentes é significativa (o que, por exemplo, pode acontecer se a amostra for mal desenhada)[6]; nesse caso, mesmo com muitas pessoas respondendo a pesquisa, sua qualidade pode ser baixa.

Assim, o que se pode inferir a partir da taxa de não resposta é apenas o potencial de viés de não resposta: quanto maior a taxa de não resposta, maior pode ser a magnitude do viés, caso ele exista.  O viés, em si, depende da aleatoriedade da não resposta, dos não respondentes se concentrarem ou não em algum grupo da população, como comentado anteriormente. Além disso, a fórmula “lembra” que o viés de não resposta é um fenômeno específico de variável – em uma mesma pesquisa, um grande percentual de não respondentes pode levar ao viés na resposta de um item, mas não inviabilizar uma pesquisa inteiramente.

De fato, nem sempre os estudos detectam relação significativa entre a taxa de resposta e o viés de não resposta na análise de pesquisas, havendo vários casos em que a diminuição do número de não-respondentes não afetou a qualidade da pesquisa. Essa, de certa forma, seria uma conclusão tranquilizadora; mas o problema é que cada levantamento tem suas características intrínsecas, e, dado que sempre existe o risco da ocorrência do viés (nem sempre fácil ou mesmo possível de se medir), o aumento da não resposta implica em também se estar sujeito a um viés maior. Por isso, e talvez porque pareça razoável considerar que condições socioeconômicas, culturais e políticas têm levado a um crescente grau de diversidade nas características dos indivíduos (tornando a hipótese de não aleatoriedade da não resposta mais improvável), a preocupação com a questão da não resposta tem aumentado.

Há ainda um problema de credibilidade, por assim dizer. Por mais que a própria definição matemática do viés ou estudos estatísticos demonstrem que a taxa de resposta não é um indicativo direto de viés, existe uma assimetria na avaliação das pesquisas. Como afirmam Koch e Blohm:

Se desejarmos investigar empiricamente o viés de não resposta, enfrentaremos o problema de que os dois componentes que determinam sua magnitude são diferencialmente acessíveis à medição. A taxa de resposta ou não resposta pode, pelo menos em teoria, ser determinada de forma fácil e inequívoca. Contudo, normalmente não estão disponíveis informações sobre a segunda componente do enviesamento de não resposta – a diferença entre respondentes e não respondentes no que diz respeito a uma determinada variável da pesquisa ou a covariância entre a variável da pesquisa e a propensão de resposta. (KOCH, A.; BLOHM, M., 2016, p.5)

Assim, as taxas de não resposta, por serem mais fáceis de calcular e muitas vezes de serem divulgadas, acabam por se tornar um parâmetro decisivo na avaliação da pesquisa, afetando a forma como são avaliadas – o que talvez seja o grande desafio a ser enfrentado por quem conduz os levantamentos.

Isso pode ser atestado por textos publicados em sites de respeitados meios de comunicação voltados a temas econômicos, questionando se pesquisas até então amplamente reconhecidas como fontes de informação de qualidade não poderiam estar induzindo investidores e mesmo governos a tomar decisões pouco balizadas na realidade.[7]

Diante do problema, os órgãos de estatística governamentais e as empresas privadas vêm dando continuidade ou mesmo aprofundando iniciativas aplicadas há muitos anos, e que poderiam ser divididas em duas linhas: frente dos esforços no trabalho de campo (field work efforts) e frente estatística. 

Por esforços no trabalho de campo entenda-se o teste, avaliação e implementação de ações que visam diminuir a taxa de não resposta. Entre as mais comuns estão o contato prévio com o respondente, a fim de mostrar a importância da pesquisa ou superar resistências relacionadas a questão de segurança; a diminuição no tamanho e redefinição do design dos questionários; a definição do número ideal de visitas (no caso de algumas pesquisas o domicílio, visita-se mais de uma vez); o aprimoramento no treinamento dos entrevistadores; a aplicação de questionários na língua nativa do respondente (quando a presença de imigrantes no país é relevante); o pagamento de incentivos financeiros.

Há uma série de estudos que discutem quais desses esforços têm trazido mais resultados, mas o que se vê é que eles não têm sido suficientes para diminuir a taxa de não resposta; além disso, há investigações que mostram que os incentivos financeiros podem aumentar a taxa de resposta, mas não necessariamente diminuir o viés de não resposta[8]. 

A persistência e mesmo elevação da não resposta aumenta a importância da frente estatística, na qual a tarefa é avaliar formas de calcular o viés de não resposta e formas de corrigi-lo. Aqui não se refere à chamada calibração, que é a ponderação dos dados com base em dados conhecidos da população de forma a fazer com que a amostra se assemelhe mais ao universo da pesquisa (passo mais comum no tratamento da não resposta), mas sim ao cálculo em si do viés. 

A forma mais utilizada para detectar o viés de não resposta (e, consideramos, a que tem o maior potencial de fornecer estimativas mais precisas) é comparar os resultados da amostra com uma fonte mais confiável, como um Censo ou registros administrativos – por exemplo, cotejar dados de renda de uma pesquisa domiciliar com informações da Receita Federal[9]. No entanto, nem sempre essas fontes de dados existem, ou nem sempre se pode estabelecer uma relação precisa entre as características dos respondentes ou as variáveis de interesse.

Além dela, há metodologias que procuram comparar características dos respondentes e dos não respondentes ao qual o pesquisador tenha informações, e, a partir delas, calcular qual seria o resultado da pesquisa caso toda a amostra fosse atingida; nesse caso pode-se inclusive construir uma subamostra dos respondentes, considerando aqueles que respondem prontamente o questionário com aqueles que só o fazem a partir de uma abordagem de convencimento, por exemplo – os não respondentes seriam mais propensos a dar respostas mais próximas dos respondentes mais renitentes.

Esse tipo de abordagem, como se pode intuir, exige a adoção de hipóteses sobre a similaridade de opiniões e condições e acaba sujeito a outros tipos de erros que ocorrem em todas as pesquisas, como os de amostragem. Nesse sentido, talvez não forneçam a segurança necessária para assegurar a não ocorrência do viés, principalmente se a taxa de não resposta for alta.

É difícil afirmar até que ponto esses procedimentos, quando puderem ser realizados, trarão maior ou menor confiança nas pesquisas – isso dependerá do quanto a análise dos casos demonstrem uma relação com o viés. De qualquer forma, jogarão mais luz sobre a questão, e ajudarão a coordenar, como já fazem hoje, as mudanças nos procedimentos no trabalho de campo que realmente sejam úteis para aumentar a qualidade das estimativas. O que se pode dizer, no entanto, é que o debate no meio estatístico segue muito ativo, valendo a pena citar, finalmente, os trabalhos que começam a propor uma nova abordagem para a amostragem, considerando aspectos teóricos e práticos das amostras não aleatórias[10] e seu uso no enfrentamento da questão da não resposta.

Esta é a primeira de duas partes do artigo de Francisco Pessoa Faria sobre o problema da não resposta em pesquisas. A segunda parte, especificamente sobre o Brasil, será publicada ainda nesta semana.

As opiniões expressas neste artigo são de responsabilidade exclusiva do autor, não refletindo necessariamente a opinião institucional da FGV.