En el congreso internacional de religiosos científicos, un especialista presume de haber curado mediante oraciones a sus cinco últimos creyentes, que padecían una incómoda dolencia. Sus colegas desean replicar esos resultados en sus propios fieles para así mejorar el futuro de todos. Su interés por reproducir los resultados justifica su etiqueta: religiosos científicos. 

Los congresistas más críticos preguntan a su colega: ¿estás seguro de que tenían esa enfermedad? ¿De verdad nos enseñas todos los casos o solo los que te conviene? ¿Nadie les hizo nada más? ¿Cuál era su evolución natural, habitual, esperada? Abordemos estas cuatro interesantes preguntas. Para interpretar resultados con garantías necesitamos: garantizar que cumplían las características iniciales; recoger todos los casos; evitar la confusión de efectos; considerar si la buena suerte, el azar, puede explicar los resultados.  

1. Garantizar que cumplían las características iniciales 

No será reproducible, ni tendrá ninguna utilidad práctica, si nuestro religioso no explica las variables iniciales de esos cinco casos, las que tenían cuando se planteó intervenir para cambiar su futuro. Debemos recoger la información con precisión, garantizando que cada uno de ellos tiene la condición cuya evolución deseamos cambiar. Estos criterios de selección o elegibilidad son los que definirán la población objetivo.  

2. Recoger todos los casos

No será reproducible, ni tendrá ninguna utilidad práctica, si nuestro religioso solo explica los cinco casos que finalmente han evolucionado bien. Escoger a los casos en función de su evolución recibe el nombre de sesgo de selección, del que hay numerosas variantes. Quizás la más clara es cuando se hace de forma intencionada, para inducir una opinión; lo que recibe el nombre de sesgo de la información selectiva. 

3. Evitar la confusión de efectos

No será reproducible, ni tendrá ninguna utilidad práctica, si nuestro religioso, además de orar, envía a sus pacientes al Gran Hospital. Bueno, eso sí: podremos predecir que su evolución será buena, pero no a causa de la oración. 

Evitaremos la confusión de efectos haciendo que la única diferencia entre los dos grupos en comparación sea la causa en estudio. En este ejemplo, la oración. 

4. Considerar el azar

No será reproducible, ni tendrá ninguna utilidad práctica, si nuestro religioso tan solo ha tenido suerte. Debemos hablar de probabilidades: “Si fuera cierto que la probabilidad de curar sin tratamiento era del 50 %, ¿qué probabilidad hay de que curen todos los pacientes?”. Es pequeña, exactamente 0,0315. Este religioso, o ha sido muy afortunado, o realmente ha mejorado esa probabilidad anterior de 0,5.  

Ahora bien, si este congreso ha reunido cien especialistas y todos ellos han visto cinco creyentes con esta enfermedad, cabe esperar que en total tres compañeros hayan tenido los mismos resultados. Ya no hay nada milagroso, ni siquiera extraordinario. 

Hemos visto cuatro fenómenos que nos podrían llevar a creer que la oración funciona. En realidad, son cuatro razones para estudiar estadística. O metainvestigación, que analiza las características de los estudios que son más repetibles… y también las de los que no suelen replicarse. 

Por supuesto, otra interesante pregunta es: "¿por qué queremos creer?". Pero esa es una pregunta para otros expertos.