Participando de uma conferência de psicologia este mês, fiquei impressionado com uma tendência perturbadora na pesquisa em ciências sociais. O livro de resumos revelou que quase todos os 1.500 cartazes e palestras estavam relacionados com algum tipo de trabalho de confirmação – utilizando análises estatísticas para testar uma hipótese existente. Quase ninguém relatou o tipo de pesquisa exploratória aberta necessária para chegar a essas hipóteses.
Na minha opinião, é crucial que as ciências sociais adotem uma cultura de investigação que equilibre o teste de hipóteses com a geração de hipóteses, abraçando estudos exploratórios juntamente com os confirmatórios.
Jogos de replicação: como tornar a pesquisa de reprodutibilidade mais sistemática
Para compreender a diferença entre estudos exploratórios e confirmatórios, considere um grupo de investigação que esteja interessado nas ligações entre crianças que vêem filmes violentos e comportamento agressivo. Num estudo exploratório, o grupo pode perguntar aos pais sobre o comportamento agressivo das crianças e recolher informações sobre hábitos domésticos, características individuais e conteúdos mediáticos que possam influenciar as crianças. Os autores inspecionariam os dados de várias maneiras, procurando padrões. Os padrões que emergem, juntamente com o conhecimento teórico de base, poderiam então ser usados para construir previsões específicas — por exemplo, que a explicação dos pais sobre conteúdos violentos pode diminuir a violência induzida pelos meios de comunicação social em adolescentes, mas não em crianças mais novas.
Estudos confirmatórios podem procurar apoiar ou questionar estas hipóteses utilizando um novo conjunto de dados. Para conduzir um estudo confirmatório de forma adequada, as melhores práticas determinam que os investigadores delineiem o seu plano de análise antes de iniciarem o seu trabalho, muitas vezes através de pré-registo – registando-o num repositório público. O pré-registro ajuda a evitar que os pesquisadores construam suas hipóteses e análises após espiarem seus dados. No exemplo acima, por exemplo, se as análises de um grupo não confirmarem a hipótese geral, os investigadores poderão ficar tentados a ajustar o tipo de análise que realizam até que esta mostre um efeito estatisticamente significativo para, por exemplo, os primeiros rapazes da adolescência, depois de controlar para renda familiar. Esta prática amplamente condenada abre a porta a conclusões falso-positivas.
Tal como muitos profissionais das ciências sociais, fui treinado para pensar no teste de hipóteses como a principal tarefa de um investigador, cuja exploração dificilmente mereceria publicação. Mas mudei de ideia quando comecei a perder a fé em minha própria capacidade de pré-registrar meus estudos de maneira adequada. Acredito sinceramente que o pré-registro é crucial para uma ciência transparente. Mas muitas vezes eu descobria que não havia explorado o suficiente para planejar adequadamente minhas análises de teste de hipóteses.
