La neurociencia genera titulares casi
todos los días. Cada vez que se publica un nuevo estudio aparece
alguna correlación interesante que tiene que ver con cómo pensamos,
cómo recordamos, cómo percibimos o cómo nos deterioramos. Hemos de
ser conscientes de que el famoso paso de los resultados de
investigación al titular conlleva en buena parte de los casos una
simplificación extrema y una elevación al absoluto que no se
corresponde con lo afirmado en el artículo técnico, cuando no una
manifiesta deformación torticera. Pero no todos los problemas son
atribuibles a la prensa: buena parte de la investigación en
neurociencia podría ser considerada mala ciencia.
Veamos un ejemplo para ilustrar lo que
queremos decir. Imaginemos que queremos comprobar que una determinada
variable externa se corresponde con la actividad de determinada área
cerebral. Por ejemplo, que la visión de fotos de rostros conocidos
provoca la activación de determinadas áreas cerebrales. Diseñamos
el experimento cuidadosamente: corregimos por belleza de los rostros,
sexo, edad, etnia, relación con el sujeto y cualquier variable que
se nos ocurra. Al final nos decantamos por una colección de fotos
seleccionadas de 24 actores de Hollywood y 67 personas anónimas no
relacionadas con ningún sujeto. En paralelo, hemos solicitado
voluntarios entre los estudiantes de nuestra universidad y hemos
solicitado tiempo en el aparato de resonancia magnética del hospital
universitario. Dados todos los condicionantes, haremos el experimento
finalmente con 9 chicos y 12 chicas.
Hecho nuestro experimento, publicamos
un artículo que afirma que “en el 55% de los varones y el 42% de
las mujeres se aprecia una activación del área XYZ del orden del 7%
mayor cuando se ven rostros conocidos”. Posteriormente aparece un
titular en la nota de prensa de la universidad que dice: “Ver a
Scarlett Johansson activa el área XYZ en los chicos pero no en las
chicas” que se traduce en Ciencia Muy Guay por
“Hallada el área del cerebro de la atracción sexual”.
De acuerdo que exageremos algo (tampoco
mucho), pero el hecho cierto es que no se puede sacar ninguna
conclusión de un experimento así. Lo hemos repetido muchas veces
aquí diciendo que los resultados son preliminares y deben ser
reproducidos. Pero, la cuestión es que esta falta de relevancia
estadística, la pequeñez de las muestras, hace que muchos resultados
en neurociencia estén en cuestión permanente. Lo único que nos
hacía falta es que alguien midiese hasta qué punto esto es así,
que alguien empezase a medir la gravedad del problema. Esto es lo que
ha hecho Katherine Button, de la Universidad de Bristol (Reino
Unido), encabezando a un equipo de colaboradores que han publicado
sus resultados en Nature Reviews Neuroscience.
Button y sus colegas revisaron 48
artículos con meta-análisis (estudios que extraen conclusiones a
partir de varios estudios similares sobre un mismo asunto, en esto
caso cada uno de los 48 analizaba entre 24, el que menos, y 71
estudios, el que más) en neurociencia publicados en 2011 y
concluyeron que la mayoría tenían una potencia estadística de
alrededor del 20%. Y esto, ¿qué significa? Pues, ni más ni menos,
que el estudio promedio tenía una probabilidad de descubrir el
efecto objeto de investigación de 0,2 (siendo 1 la certeza absoluta
de que lo va a detectar).
Y, ¿qué es lo que causa esta potencia
estadística tan baja? Pues lo que era esperable: muestras muy
pequeñas y efectos investigados muy pequeños. Hay estudios
neurocientíficos que informan de mecanismos muy complejos con muy
pocos sujetos y efectos estudiados que suponen variaciones
porcentualmente muy pequeñas en las variables medidas, variables que
pueden recoger fácilmente ruidos estadísticos varios que den lugar
a confusiones. Nuestro ejemplo anterior recoge ambos problemas.
Una consecuencia de todo ello es que
cuando se anuncia que se ha hecho un descubrimiento en neurociencia
basado en un solo estudio lo más probable es que sea falso o
engañoso.
Button et al. afirman que
existen pruebas suficientes como para aseverar que:
los estudios pequeños y de baja
potencia estadística son “endémicos” en neurociencia
una proporción grande de la
investigación publicada en las revistas científicas podría ser
poco fiable;
el número de hallazgos está
exagerado ya que los estudios pequeños dan más resultados
positivos que los grandes de forma consistente (lo que es
especialmente cierto en los estudios que usan herramientas
genéticas, técnicas de imagen o animales)
Y, ¿qué se puede hacer para remediar
esta situación? Lo primero sería facilitar la reproducibilidad de
los resultados, lo que implica transparencia metodológica por parte
de los investigadores, y aumentar los tamaños de muestra de forma
significativa, lo que hoy día implica colaboración. Los
investigadores proponen cinco acciones:
a) Antes de realizar un experimento es
conveniente calcular de la potencia estadística del mismo: se puede
usar la literatura existente para estimar qué tamaño de muestra es
necesario para investigar un determinado efecto.
b) Transparencia en la exposición de
métodos y resultados: sobre todo si no se encuentra nada hay que
decirlo así. Los resultados negativos no publicados distorsionan los
datos.
c) Pre-registro del protocolo de
estudio y el plan de análisis: así se alientan los dos puntos
anteriores y se evita la tentación de la elaboración creativa de
datos o de informar sólo de algunos resultados. Un medio para
hacerlo es
Open Science
Framework.
d) Disponibilidad de los materiales de
estudio y de los datos sin elaborar: facilita la replicación y la
extensión de los estudios.
e) Trabajar colaborativamente para
incrementar la potencia y la replicabilidad de los estudios: la
combinación de datos incrementa el tamaño de muestra, minimizando
el trabajo.
Estas son propuestas. Mientras no vayan
calando habrá que tomarse con dosis habitual de escepticismo los
resultados publicados.
Referencia:
Button K.S., Ioannidis J.P.A., Mokrysz C., Nosek B.A., Flint J., Robinson E.S.J. & Munafò M.R. (2013). Power failure: why small sample size undermines the reliability of neuroscience, Nature Reviews Neuroscience, DOI: 10.1038/nrn3475
.jpg)
