“Apuestas amañadas” en investigación biomédica

La investigación publicada en algunas de las revistas médicas más prestigiosas del mundo está plagada de “resultados apañados“, tras los que, con frecuencia, hay mucho dinero apostado: los investigadores deciden qué datos quieren después de mirar los resultados que han obtenido.

Es como “comprar la lotería después de saber qué número ha tocado”.

Esto significa que

(1) cada vez es más difícil saber si un medicamento es tan efectivo como afirman los experimentos;

(2) muchos enfermos no reciben el mejor tratamiento posible debido a que sus médicos han sido engañados con datos erróneos, y

(3) los sistema públicos de salud están pagando muchos medicamentos de alto costo que no son mejores que alternativas más baratas.

Captura de pantalla 2016-01-26 a las 17.01.52

Ben Goldacre dirige el Grupo COMPARE del Centro de Medicina Basada en la Evidencia de la Universidad de Oxford, dedicado a buscar ensayos clínicos en los que se han “apañado” los resultados.

compare

El grupo ha encontrado que 58 de 67 artículos analizados, publicados en alguna de las cinco revistas médicas más famosas del mundo (las “big five”), desde octubre de 2015, habían “apañado” los resultados sin comunicarlo.

Cuando se inicia un proyecto de investigación los autores registran previamente las cosas que se van a medir al final del estudio. Se dice que se “apañan” los resultados cuando el estudio acaba midiendo diferentes cosas sin advertírselo a nadie.

Diapositiva1

Imagen remitida por Joan-Ramon Laporte

Por ejemplo, si iniciamos un estudio sobre los efectos del alcohol en la mortalidad comparando la evolución de 10.000 personas que beben y 10.000 personas que no lo hacen. Un “apaño” de los datos sería que el estudio acabara comparando el número de ataques de corazón que se producen en cada grupo en vez de la mortalidad, sin declarar en el artículo publicado que lo originalmente planeado era comparar el número de muertes (ver dibujo arriba).

Esto es muy importante porque con frecuencia se obtienen buenos resultados sólo por casualidad. Cuantas más cosas se midan, más probabilidades hay de obtener un buen resultado solo por azar.

Ben Goldacre dice:

Nuestros modelos estadísticos se basan en el supuesto de que buscamos un determinado resultado; si al final no se analiza lo que se buscaba, entonces el modelo estadístico está roto. Por ejemplo, imagine un ensayo aleatorio sobre el alcohol para determinar si un vaso de vino al día es mejor para su salud que la abstinencia. “Mejor para su salud” es un concepto amplio, que podría ser medido como muertes, ataques al corazón, análisis de sangre, dolores de cabeza, el empleo, el bienestar subjetivo, etc“.

Si se dividen los datos en lotes, de una manera no especificada de antemano en el protocolo de investigación, probablemente se obtendrán algunos resultados impresionantes. Hay un montón de ruido aleatorio en los estudios médicos, lo que significa que a veces se obtendrá lo que parece ser un efecto real sólo por casualidad.

Un resultado científico se considera “estadísticamente significativo” si hay menos de 1 posibilidad de 20 de que el resultado ocurra por casualidad. Pero si se estudian 20 cosas diferentes, es probable obtener un resultado estadísticamente significativo.

Si se miden un gran número de resultados y se permite escoger el que mejor venga e informar el hallazgo como objetivo principal, de repente la integridad científica del estudio es un gran problema“, dice Goldacre.

Es posible tener resultados positivos acerca una intervención, pero seguir ignorando su verdadero efecto

Chris Chambers, de la Universidad de Cardiff, dice:

“¿Quién se sorprendería si usted escoge los números ganadores? En la ciencia médica el problema al que nos enfrentamos es el mismo. Para estar seguros de que un descubrimiento es real, hemos de pre-especificar los resultados que queremos medir, hacer el estudio, y luego confiar en las pruebas estadísticas para que nos digan lo probable de ese resultado comparado con la casualidad.”

No hacerlo así, “puede tener consecuencias devastadoras para los tratamientos médicos“, porque la ciencia en la que los médicos basan sus decisiones será muy poco fiable.

El problema es la transparencia“.

COMPARE ha encontrado que en 67 artículos que habían sido publicados en las cinco principales revistas médicas desde octubre de 2015, todos menos nueve habían apañado los resultados.

Estos apaños van en contra de las directrices por la transparencia aprobadas para la investigación. Las guías CONSORT, que las cinco principales revistas han asumido, establecen que cualquier “apaño” de los resultados debe ser declarado y justificado públicamente.

Si los resultados que finalmente se miden en el estudio se cambian, puede ser aceptable, pero hay que decir que se ha hecho y explicar por qué se ha hecho“, dice Goldacre.

Es interesante la distinta reacción de los Comités Editoriales de las revistas implicadas cuando el equipo de COMPARE les informa del amaño ocurrido y les solicita que publiquen las debidas explicaciones.

Captura de pantalla 2016-01-27 a las 8.59.26

http://www.sciencedirect.com/science/article/pii/S0140673615611072

Por ejemplo, un ensayo en la revista The Lancet se había comprometido en el protocolo a medir 22 resultados; COMPARE informó a los editores que sólo se habían publicado 14 resultados y que se había añadido un resultado extra sin ninguna explicación.

Captura de pantalla 2016-01-27 a las 9.01.27

http://www.ncbi.nlm.nih.gov/pubmed/26458258

 

Otro trabajo, en la revista Annals of Internal Medicine, tenía dos objetivos preestablecidos; no publicó los resultados de ninguno de ellos y añadió 14 resultados nuevos en la publicación que informaba de los resultados del estudio; COMPARE también comunicó el apaño a los editores

Las revistas han respondido de manera muy diferente a esta información, dice Goldacre. En un extremo del espectro, está el BMJ que “ha establecido el estándar“. Según Goldacre, el BMJ “ha publicado todas nuestras cartas, aceptado que se había informado mal de los resultados y emitido correcciones. Eso es lo que se espera que haga una buena revista“.

Por el contrario, Annals of Internal Medicine, tuvo una respuesta “extraordinaria y confusa“. Publicaron una carta firmada por los editores, donde se podía leer:

En base a nuestra larga experiencia revisando artículos de investigación, hemos aprendido que los resultados especificados previamente pueden ser subóptimos o inadecuados“.

Nada se dice respecto a porqué declarar que los resultados han sido apañados es una mala idea.

Goldacre lo expresa:

En esencia, argumentan que el apaño está bien y que van a permitir que la gente lo haga, lo que rompe sus compromisos con el consenso CONSORT y las expectativas que sus lectores tienen de que se está manejando adecuadamente el problema“.

Chambers está de acuerdo y califica la insuficiente respuesta del Annals como “nada menos que asombrosa”:

Francamente, la respuesta del Annals a esta cuestión científica básica revela una ignorancia decepcionante entre los editores de la revista sobre los objetivos que tiene registrar previamente los ensayos clínicos y los protocolos de investigación“, dijo.

Estamos seguros de que en Annals están comprometidos con la solución de este asunto, pero hay un problema cultural muy arraigado en ciencia y medicina y que ha permitido la aceptación de estas malas prácticas“.

Captura de pantalla 2016-01-27 a las 9.13.03

COMPARE respondió al Editorial del Annals en un blog.

Un portavoz de Annals of Internal Medicine dijo que habían abordado las cuestiones en la carta.

Un portavoz del BMJ, por su parte, expresó:

El BMJ apoya los objetivos del proyecto COMPARE. Estamos comprometidos con los trabajos de investigación en los que la publicación de los resultados especificados previamente enumerados en el registro de ensayos informe fielmente“.

– See more at: http://www.nogracias.eu/2016/01/27/apuestas-amanadas-en-investigacion-biomedica/#sthash.Xt36R55F.dpuf

Fuente: http://www.nogracias.eu/2016/01/27/apuestas-amanadas-en-investigacion-biomedica/

About The Author

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

19 + catorce =

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.