Blog do IBRE

No dia 29 de julho, publicamos, em parceria com Ricardo Barboza (BNDES), Eduardo Pontual Ribeiro (UFRJ), e Fábio Roitman (BNDES), um estudo denominado “O que aprendemos sobre o BNDES?”. Essa publicação tem como objetivo disciplinar o debate público sobre o principal banco de desenvolvimento do Brasil, aproximando esse debate das evidências empíricas disponíveis. Desde que foi publicado, o nosso estudo gerou algumas controvérsias, que merecem ser esclarecidas.

Antes de prosseguir, o leitor precisa ter claro que a ideia básica do nosso estudo é mapear toda a evidência empírica disponível sobre o BNDES. Isto, contudo, cria uma dificuldade prática, que diz respeito a qual evidência empírica considerar. Aliás, essa é uma primeira controvérsia que a publicação do nosso artigo gerou.

Algumas revisões sistemáticas da literatura consideram apenas estudos que empregam experimentos aleatórios ou métodos quase experimentais – ver, por exemplo, Escueta et al (2017) e Evans et al (2019). Como esses métodos dependem de hipóteses pouco restritivas para identificar relações de causalidade, a evidência obtida com base neles poderia ser considerada mais confiável (ou “mais limpa”, para utilizar o jargão).

Acontece que, entre os diversos estudos já produzidos sobre o BNDES, nenhum deles se baseia em um experimento aleatório. Apenas Sztutman e Aldrighi (2019) empregam uma regressão com descontinuidade e somente Cavalcanti e Vaz (2017) se aproveitam de uma variação que pode ser considerada exógena. Isso quer dizer que, se fôssemos altamente rigorosos com o método empregado na produção das evidências, pouco teríamos a dizer sobre o BNDES.

Na verdade, o pouco que teríamos a dizer seria o seguinte: com base em Sztutman e Aldrighi (2019), não há evidência de que conexões políticas tenham afetado a alocação de crédito do BNDES; e, com base em Cavalcanti e Vaz (2017), melhores condições de crédito do BNDES têm efeito positivo sobre o investimento e a produtividade de pequenas empresas brasileiras.

Diante do universo reduzido de “identificações limpas”, optamos por não adotar um critério muito restritivo em relação ao método de produção das evidências. Assim, consideramos estudos que: (i) utilizaram dados; e (ii) empregaram métodos de estimação que tentam, de alguma forma, identificar relações causais. Por esses critérios, ficaram de fora da nossa amostra de evidências consideradas os trabalhos que empregaram modelos 100% calibrados e os trabalhos que estimaram regressões sem buscar lidar com a questão de viés de seleção. Por outro lado, os estudos que utilizam métodos básicos de painel, como efeitos fixos, são considerados porque lidam com variáveis omitidas que são fixas no tempo.

Como o critério relativo ao método acabou não sendo muito restritivo, julgamos importante adotar um critério relativo à publicação, de maneira a filtrar evidências de melhor qualidade. Há, nessa escolha, novamente um trade-off entre a qualidade e a quantidade de evidências. Nesse trade-off, a opção adotada foi privilegiar a quantidade de evidências, de modo que foram considerados estudos que passaram por algum processo de seleção por pares.

Os estudos que passaram por um processo de seleção por pares incluem artigos publicados em periódicos (internacionais e nacionais), estudos apresentados em congressos, estudos premiados, teses de doutorado e dissertações de mestrado. Ficaram de fora da nossa amostra os capítulos de livro, os textos para discussão e as publicações institucionais. A opção por não incluir publicações institucionais, mesmo que algumas delas contem com processos de seleção por pares, se deve ao fato de que, nesses casos, a seleção é realizada por funcionários da própria instituição (caso, por exemplo, da Revista do BNDES).

Se tivéssemos sido mais restritivos no critério de publicação, teríamos, mais uma vez, muito pouco a dizer sobre o BNDES. Se considerássemos somente artigos publicados em periódicos considerados como “Top 5”, teríamos apenas um, que, é bom dizer, não utiliza uma estratégia de identificação baseada em uma variação exógena (Carvalho, 2014). Os resultados de Carvalho (2014) apontam que os desembolsos do BNDES são maiores para estados governados por políticos aliados do presidente em anos próximos à corrida eleitoral em que o governador disputa a reeleição.

Já se considerássemos uma barra científica um pouco menos elevada do que apenas as revistas consideradas “Top 5”, como os periódicos classificados pela Capes como de excelência internacional (A1), teríamos apenas oito artigos disponíveis sobre o BNDES e nada a dizer sobre diversos temas importantes para a política pública – como os efeitos do BNDES sobre a potência da política monetária, assunto bastante corriqueiro no debate econômico nacional, mas sem evidência estabelecida em publicações de primeira linha.

Os critérios que adotamos em relação a método e publicação podem ser considerados critérios mínimos em relação à qualidade, mas que permitem reunir um conjunto de evidências sobre diferentes instrumentos de atuação do BNDES e sobre diferentes variáveis de interesse – que muitas vezes são abordadas no debate público sobre o BNDES sem um embasamento empírico minimamente satisfatório. Apesar de analisarmos um conjunto amplo de estudos, procuramos destacar no texto aqueles que utilizam uma fonte de variação exógena para identificação do impacto e aqueles mais bem publicados. E ressaltamos na conclusão a importância de que, no desenho dos instrumentos de apoio do BNDES, já sejam pensadas formas de avaliação que permitam a identificação dos impactos com base em variações exógenas.  

Além dos critérios sobre método e sobre publicação, consideramos dois outros critérios no nosso filtro de evidências. Primeiro, estabelecemos junho de 2019 como data de corte – essa foi a data em que começamos a mapear a literatura. Segundo, consideramos apenas estudos que são públicos. Desse modo, aplicando todos os critérios supracitados, ficamos com uma amostra de 70 trabalhos empíricos sobre o BNDES – que é a nossa evidência finalmente considerada.

Antes de prosseguir, queremos reforçar a preocupação que tivemos de deixar o mais claro possível os nossos critérios de seleção de evidências. Dessa forma, evitamos qualquer tipo de cherry picking – prática de selecionar apenas alguns trabalhos com base em critérios nem sempre muito claros e/ou de modo a favorecer determinado ponto de vista. A política pública, definitivamente, não pode ser vítima desses comportamentos.

Isso posto, passamos à segunda controvérsia que nosso artigo gerou: como as evidências sobre a atuação passada do BNDES podem ajudar a orientar a atuação futura da instituição? Nesse ponto, destacamos na conclusão do nosso artigo que a evidência de alguma substituição de fontes nos financiamentos a empresas com acesso ao mercado de capitais sugere haver espaço para melhorias na atuação do BNDES. Também destacamos que a ausência de análises de custo-benefício, tanto para o apoio do BNDES quanto para políticas públicas alternativas, dificulta recomendações com base estritamente nas evidências obtidas.

Entendemos que as evidências são um insumo fundamental para se pensar a atuação do BNDES no futuro. Mas outros elementos também precisam ser considerados para a elaboração de recomendações: teoria econômica, arcabouço institucional e diretrizes sobre o papel do Estado na economia, escolhidas pela sociedade por meio do voto, também são elementos muito relevantes. Ao reunir evidências sobre a atuação passada, nosso artigo traz um insumo necessário – mas não suficiente – para a elaboração de recomendações para a atuação do BNDES no futuro.

Diante disso, não nos parece adequada a interpretação de que recomendamos as formas de atuação A, B ou C para o BNDES. Em particular, não é correto afirmar que chancelamos algumas formas de atuação do BNDES anteriores à substituição da TJLP pela TLP. Reunir as evidências disponíveis sobre a efetividade da atuação no período e apontar o que parece ter efeito positivo e o que parece não ter efeito é muito diferente de chancelar tais formas de atuação. Como destacamos na conclusão, “a evidência de que determinado tipo de apoio do BNDES tem efeito positivo sobre alguma variável não é suficiente para justificar esse apoio”. O motivo é muito claro: não há ainda trabalhos com uma análise de custo e benefício das ações do banco.

Abordemos, então, uma terceira controvérsia que nosso artigo gerou: a interpretação de que o que aprendemos sobre o BNDES não se restringe às evidências empíricas causais (ou que tinham o propósito de identificar causalidades) por nós apresentadas. Sobre esse ponto, há colegas que ressaltam a importância da teoria, uma vez que a evidência empírica não surge no vácuo e não pode ser analisada isoladamente.

Sobre essa controvérsia, não negamos a importância da teoria, como já dissemos anteriormente. Só acreditamos que teorias sem o devido suporte dos dados não têm (ainda) tanto valor. Além disso, quem escolhe o rumo das políticas públicas precisa conhecer a efetividade de cada medida em particular e a teoria não é suficiente para isso.

Uma quarta controvérsia que nosso artigo gerou diz respeito ao fato de que as evidências apresentadas não são necessariamente sobre a atuação do BNDES, mas sim sobre a atuação de subsídios que eram empregados via BNDES. Por exemplo, quando o BNDES fazia operações indiretas (ou seja, via agentes financeiros) com micro, pequenas e médias empresas (MPMEs) e esses resultados se revelavam positivos, então não era o crédito do BNDES que estaria causando aqueles resultados, mas sim o crédito subsidiado envolvido.

Esse é um tema complexo, cujas respostas não são simples – e que demandam várias outras evidências até hoje inexistentes. De todo modo, se os subsídios explicassem toda a efetividade do BNDES em aumentar o investimento, o emprego, o faturamento e as exportações das MPMEs, então por qual motivo esses mesmos subsídios não se mostrariam efetivos para aumentar o investimento, o emprego, o faturamento e as exportações de empresas de capital aberto? Se o subsídio era, de fato, a grande arma estimulativa do BNDES, é curioso que essa arma só se mostre importante em alguns casos, e em outros não.

Isso nos sugere que a efetividade do BNDES vai além do subsídio. É possível que o subsídio seja mais efetivo para as MPMEs e de certa forma é difícil separar o subsídio da restrição ao crédito. As grandes empresas não são restritas ao crédito e emitem dívida a taxas menores. O BNDES simultaneamente subsidia e garante o acesso. É difícil separar ambos os efeitos. Ainda que não saibamos precisamente quais mecanismos explicariam essa efetividade (e reconhecemos isso no texto, inclusive, sugerindo como agenda de pesquisa futura), poderíamos levantar algumas hipóteses para explicar a razão de o crédito do BNDES ter se mostrado particularmente importante para MPMEs, sabendo que essas operações são feitas via agentes financeiros. Porém, como esse tema foge ao nosso texto para discussão, preferíamos não levantar tais hipóteses aqui (caso alguém se interesse por essas hipóteses, sugerimos Barboza et al, 2019). Aliás nós enquadraríamos essa quarta controvérsia naquilo que ainda não aprendemos sobre o BNDES – tal como fizemos questão de tratar no nosso texto para discussão. Adicionalmente, com a nova regulação dos créditos do BNDES que, com o advento da TLP no lugar da TJLP reduziu em muito o subsídio, será possível avaliar em estudos posteriores se é o subsídio ou o acesso que melhor explica o impacto das ações do BNDES para a MPMEs.

Também é fato que, eventualmente, um esquema que direcione os recursos do Tesouro diretamente aos agentes financeiros, e destes para as MPMEs, sem passar pelo BNDES, pode ser superior do que o atual mecanismo via BNDES. Pode-se imaginar que o Tesouro leiloe recursos. Novamente, esse não foi o objeto de nossa pesquisa. De qualquer forma, um esquema como esse teria custos também e seria necessária uma análise completa de custo-benefício para sabermos qual dos mecanismos é superior.

Como o debate público sobre o BNDES é polêmico e marcado por opinião contraditórias, as controvérsias que surgiram sobre o nosso estudo podem ser consideradas naturais. Mais ainda, essas controvérsias ajudam a trazer o debate público sobre o BNDES para o campo das evidências – e esse é, justamente, o nosso principal objetivo com o estudo.

As opiniões expressas neste artigo são de responsabilidade exclusiva do autor, não refletindo necessariamente a opinião institucional da FGV. 

Referências Bibliográficas

BARBOZA, R. M et al. O BNDES e as micro, pequenas e médias empresas. Rio de Janeiro: Banco Nacional de Desenvolvimento Econômico e Social, 2019. (Textos para Discussão; 146)

CARVALHO, D. The real effects of government?owned banks: Evidence from an emerging market. The Journal of Finance, New York, v. 69, n. 2, p. 577-609, 2014.

CAVALCANTI, T.; VAZ, P. H. Access to long-term credit and productivity of small and medium firms: a causal evidence. Economics Letters, Amsterdam, n. 150, p. 21-25, 2017.

ESCUETA, M. et al. Education technology: an evidence-based review. Cambridge: National Bureau of Economic Research, 2017. (NBER Working paper 23.744).

EVANS, W. N.; PHILIPS, D. C.; RUFFINI, K. J. Reducing and preventing homelessness: a review of the evidence and charting a research agenda. Cambridge: National Bureau of Economic Research Local, 2019. (NBER Working paper 26.232).

SZTUTMAN, A. M; ALDRIGHI, D. M. Political connections and access to Brazilian Development Bank’s loans. São Paulo: FEA/USP, 2019. (Working paper series nº 2019-13). Disponível em: http://www.repec.eae.fea.usp.br/documentos/Sztutman_Aldrighi_13WP.pdf.