Tolerar la mala investigación sobre la salud: el escándalo continuo

Bajar en .pdf

Ensayos volumen 23 , Número de artículo:  458 ( 2022 ) Citar este artículo

Resumen

Fondo

En la conferencia REWARD/EQUATOR de 2015 sobre el desperdicio de la investigación, el difunto Doug Altman reveló que su único arrepentimiento sobre su artículo de BMJ de 1994 ‘El escándalo de la investigación médica deficiente’ fue que usó la palabra ‘pobre’ en lugar de ‘malo’. Pero, ¿cuánta investigación es mala? ¿Y qué mejoraría las cosas?

Texto principal

Nos enfocamos en ensayos aleatorios y analizamos la escala, los participantes y el costo. Seleccionamos al azar hasta dos revisiones de intervenciones cuantitativas publicadas por todos los Grupos de revisión Cochrane clínicos entre mayo de 2020 y abril de 2021. Se extrajeron datos que incluían el riesgo de sesgo, la cantidad de participantes, el tipo de intervención y el país para todos los ensayos incluidos en las revisiones seleccionadas. Los ensayos con alto riesgo de sesgo se clasificaron como malos. El costo de los ensayos con alto riesgo de sesgo se calculó mediante estimaciones publicadas del costo del ensayo por participante.

Identificamos 96 revisiones escritas por 546 revisores de 49 Grupos de Revisión Cochrane clínicos que incluyeron 1659 ensayos realizados en 84 países. De los 1640 ensayos que proporcionaron información sobre el riesgo de sesgo, 1013 (62%) tenían alto riesgo de sesgo (malo), 494 (30%) poco claros y 133 (8%) bajo riesgo de sesgo. Los malos ensayos se extendieron por todas las áreas clínicas y todos los países. Mucho más de 220 000 participantes (o el 56 % de todos los participantes) tuvieron malas pruebas. La estimación baja del costo de los malos juicios fue de 726 millones de libras esterlinas; nuestra estimación máxima fue de más de 8.000 millones de libras esterlinas.

Tenemos cinco recomendaciones: los ensayos no deben financiarse (1) ni recibir aprobación ética (2) a menos que cuenten con un estadístico y un metodólogo; los investigadores deben utilizar una herramienta de riesgo de sesgo en el diseño (3); se debe capacitar y apoyar a más estadísticos y metodólogos (4); debería haber más financiación para la investigación y la infraestructura de metodología aplicada (5).

Conclusiones

La mayoría de los ensayos aleatorios son malos y la mayoría de los participantes del ensayo participarán en uno. La comunidad científica ha tolerado esto durante décadas. Esto tiene que parar: necesitamos poner el rigor y la metodología donde corresponde: en el centro de nuestra ciencia.

Informes de revisión por pares

Fondo

En la conferencia REWARD/EQUATOR de 2015 sobre el desperdicio de la investigación, el difunto Doug Altman reveló que su único arrepentimiento sobre su artículo de BMJ de 1994 ‘El escándalo de la investigación médica deficiente’ [ 1 ] fue que usó la palabra ‘pobre’ en lugar de ‘malo’ . Hacia el final de su vida, Doug había considerado escribir una secuela con un título que incluyera no solo «malo» sino «continuación» [ 2 ].

Que se necesita ‘continuar’ debería preocuparnos a todos. Ben Van Calster y sus colegas han destacado recientemente la paradoja de que la ciencia infravalora sistemáticamente la metodología que sustentaría una buena investigación [ 3 ]. La pandemia de COVID-19 ha generado una cantidad asombrosa de investigación y parte de ella ha transformado la forma en que se maneja y trata el virus. Pero esperamos que gran parte de la investigación sobre la COVID-19 sea mala porque gran parte de la investigación sobre la salud en general es mala [ 3 ]. Esto era cierto en 1994 y sigue siendo cierto en 2021 porque la forma en que se investiga permite que sea así. Los desechos de investigación parecen estar integrados en el sistema.

En este comentario, no pretendemos enumerar ejemplos específicos de desperdicio de investigación. Más bien, queremos hablar de escala, participantes y dinero y luego terminar con cinco recomendaciones. Todo lo último parecerá familiar: Doug Altman y otros [ 3 , 4 , 5 , 6 , 7 , 8 ] los han sugerido muchas veces, pero esperamos que nuestros números en escala, los participantes y el dinero le den a las recomendaciones la urgencia que tienen. siempre merecido pero nunca tenido.

Entonces, ¿cuánta investigación es mala?

Que el desperdicio de la investigación es común no está en duda [ 3 , 4 , 5 , 6 , 7 , 8 ] pero queríamos poner un número en algo más específico: cuánto es mala investigación que no solo es un desperdicio sino que podríamos haber hecho sin y perdido poco o nada? En lugar de tratar de abordar toda la investigación en salud, hemos optado por centrarnos en los ensayos aleatorios porque es el campo que mejor conocemos y, además, juegan un papel central en las decisiones sobre los tratamientos que se ofrecen a los pacientes.

Con esto en mente, nuestro objetivo fue estimar la proporción de ensayos que son malos, cuántos participantes participaron y cuánto dinero se gastó en ellos.

Selección de una cohorte de ensayos

Utilizamos revisiones sistemáticas como punto de partida porque estos cuerpos de evidencia de ensayos a menudo respaldan la práctica clínica a través de recomendaciones de guías y políticas. Elegimos específicamente las revisiones sistemáticas Cochrane porque son revisiones sistemáticas estandarizadas y de alta calidad. Solo nos interesaron las revisiones recientes porque representan los cuerpos de evidencia más actualizados.

Además, las revisiones Cochrane registran los juicios de los revisores sobre el riesgo de sesgo de los ensayos incluidos; en otras palabras, evalúan hasta qué punto se puede creer en los hallazgos del ensayo [ 9 ]. Consideramos que es una medida de lo bueno o malo que es un juicio. Cochrane tiene tres categorías de riesgo general de sesgo: alto, incierto y bajo. Se consideró que un ensayo con alto riesgo de sesgo era malo, un ensayo con bajo riesgo de sesgo era bueno y un ensayo con riesgo incierto de sesgo era exactamente eso, incierto. No intentamos ver qué tipo (o «dominio») de sesgo impulsó la evaluación general. Compartimos la opinión dada en el Manual Cochrane (Capítulo 8) [ 9] que el riesgo general de sesgo es la evaluación menos favorable en todos los dominios de sesgo. Si un dominio es de alto riesgo, entonces la evaluación general es de alto riesgo. Ningún dominio es más o menos importante que otro y si existe un alto riesgo de sesgo incluso en un solo dominio, esto pone en duda la validez de los hallazgos del ensayo.

Utilizamos el aleatorizador de listas en random.org para seleccionar al azar dos revisiones publicadas entre mayo de 2020 y abril de 2021 de cada uno de los 53 Grupos Cochrane de Revisión clínica. Para ser incluida, una revisión debía considerar los efectos de la intervención en lugar de ser una revisión cualitativa o una revisión de revisiones. Luego extrajimos la información básica (nuestro conjunto de datos completo se encuentra en https://osf.io/dv6cw/?view_only=0becaacc45884754b09fd1f54db0c495 ) sobre cada ensayo incluido en cada revisión, incluida la evaluación general del riesgo de sesgo. El objetivo fue no emitir juicios sobre el riesgo de sesgo, sino tomar lo que proporcionaron los autores de la revisión. No se estableció contacto con los autores de la revisión o del ensayo para obtener información adicional. Los datos extraídos se pusieron en hojas de cálculo de Excel, una para cada Grupo de Revisión Cochrane.

Análisis

Para responder a nuestra pregunta sobre la proporción de malos ensayos y cuántos participantes había en ellos, utilizamos recuentos simples entre revisiones y ensayos. Los recuentos en hojas de cálculo se realizaron con R y nuestro código se encuentra en https://osf.io/dv6cw/?view_only=0becaacc45884754b09fd1f54db0c495 . Para estimar cuánto dinero podría haberse gastado en los ensayos, utilizamos tres estimaciones del costo por participante para brindar un rango de valores posibles para el gasto total:

  1. 1.Estimación 1: Una estimación del costo por participante para los ensayos del Programa de Evaluación de Tecnologías de la Salud del Instituto Nacional de Investigación en Salud (NIHR HTA) del Reino Unido de 2987 GBP. Esto se calculó sobre la base de un costo medio por ensayo NIHR HTA de 1 433 978 GBP para 2011-2016 [ 10 ] y un objetivo de reclutamiento final medio para los ensayos NIHR HTA de 480 para 2004-2016 [ 11 ].
  2. 2.Estimación 2: Costo medio por participante de 41 413 USD encontrado para ensayos de beneficios clínicos fundamentales que respaldan la aprobación de nuevos agentes terapéuticos en EE. UU., 2015-2017 [ 12 ].
  3. 3.Estimación 3: El costo promedio por participante de 2012 para los ensayos en el Reino Unido de 9758 EUR encontrado por Europe Economics [ 13 ].

Todas estas estimaciones se convirtieron a GBP utilizando https://www.currency-converter.org.uk para obtener el tipo de cambio del 1 de enero en el último año de pruebas cubierto por la estimación (es decir, 2017 para E2 y 2012 para E3). Luego, todos estos se convirtieron a 2021 GBP el 11 de agosto de 2021 usando https://www.inflationtool.com , lo que hizo que E1 £ 3,256, E2 £ 35,918 y E3 £ 9,382. Reconocemos que es poco probable que estos sean exactos para cualquier ensayo dado en nuestra muestra, pero tenían la intención de brindar cifras promedio aproximadas para promover la discusión.

Escala, participantes y dinero

Escala

Extrajimos datos de 1659 ensayos aleatorios repartidos en 96 revisiones de 49 de los 53 Grupos de Revisión Cochrane clínicos. Los cuatro grupos de revisión restantes no publicaron revisiones elegibles en nuestro período de tiempo. Las 96 revisiones incluidas involucraron a 546 revisores. Se incluyen ensayos en 84 países, así como 193 ensayos multinacionales. La información sobre el riesgo de sesgo no estuvo disponible para 19 ensayos, lo que significa que la muestra de riesgo de sesgo es de 1640 ensayos. Casi todas las revisiones (94) utilizaron exclusivamente la herramienta de riesgo de sesgo original de Cochrane (ver archivo complementario 1 ) en lugar de la nueva herramienta de riesgo de sesgo (versión 2.0) [ 14]. Cochrane RoB 1.0 tiene seis dominios de sesgo (generación de secuencias; ocultación de la asignación; cegamiento de los participantes, el personal y los evaluadores de resultado; datos de resultado incompletos; informe selectivo de resultados; otras fuentes de sesgo), mientras que RoB 2.0 tiene cinco dominios (proceso de asignación al azar; asignación y adherencia a la intervención; datos de resultado incompletos; medición de resultado; informe selectivo). Cuando se utilizó la herramienta anterior, se utilizó la evaluación del riesgo general de sesgo realizada por los autores de la revisión. Para las dos revisiones que usaron el Riesgo de sesgo 2, no hicimos juicios sobre el riesgo de sesgo individual para los dominios, pero sí evaluamos el riesgo general de sesgo si los autores de la revisión no lo hicieron. Hicimos esto examinando los dominios individuales y eligiendo una alta, riesgo general de sesgo incierto o bajo basado en el número de dominios individuales que caen en cada categoría. Este fue un juicio; no usamos una regla dura y rápida. Tuvimos que hacer esto durante 40 intentos.

La mayoría de los ensayos (1013 o 62%) tenían un alto riesgo de sesgo (Tabla 01 ). Estos ensayos se distribuyeron en los 49 Grupos Cochrane de Revisión y más de la mitad de los Grupos (28 o 57%) no tenían ensayos de bajo riesgo de sesgo incluidos en las revisiones seleccionadas al azar. El área clínica cubierta por el Anesthesia Review Group tuvo la mayor proporción de ensayos con bajo riesgo de sesgo con un 60 %, pero este grupo incluyó 19 ensayos sin información sobre el riesgo de sesgo (ver Fig. 1 ).Tabla 1 Riesgo de sesgo y número de participantes para los ensayos incluidos mesa de tamaño completo

Figura 1
Figura 1

Algunos de los 84 países de nuestra muestra contribuyeron con muy pocos ensayos, pero la Tabla 2 muestra datos de riesgo de sesgo para los 17 países que contribuyeron con 20 o más ensayos, así como para ensayos multinacionales. El porcentaje de ensayos de un país que se consideraron con bajo riesgo de sesgo alcanzó cifras dobles para ensayos multinacionales (23 %) y cinco países individuales: Australia (10 %), Francia (13 %), India (10 %), Japón (10 %). %) y el Reino Unido (11%). El desglose completo por países se proporciona en el archivo complementario 2 .Tabla 2 Riesgo de sesgo para ensayos realizados en países que contribuyen con 20 o más ensayosmesa de tamaño completo

Participantes

Los 1659 ensayos incluidos incluyeron un total de 398 410 participantes. La mayoría de estos (222 850 o el 56 %) se encontraban en ensayos con alto riesgo de sesgo (Tabla 1 ).

Dinero

La Tabla 3 muestra estimaciones de la cantidad de dinero gastada en ensayos en cada una de las tres categorías de riesgo de sesgo.Tabla 3 El costo estimado de los ensayos de alto, incierto y bajo riesgo de sesgo mesa de tamaño completo

Usando nuestra estimación baja para el costo por participante (estimación 1 de los ensayos NIHR HTA), obtenemos un gasto estimado de £726 millones en ensayos de alto riesgo de sesgo. Nuestra estimación alta (estimación 2 de los ensayos de aprobación de fármacos en EE. UU.) da una cifra equivalente a más de 8.000 millones de libras esterlinas. Basado en un gasto anual de £76 millones para el programa NIHR HTA del Reino Unido [ 15 ], la primera cifra, nuestra estimación más baja, sería suficiente para financiar el programa durante casi una década, mientras que la segunda cifra lo financiaría durante más de un siglo. .

Mientras analizamos la escala, los participantes y el dinero, hicimos algunas otras observaciones secundarias. Para evitar distraer la atención de nuestros puntos principales, presentamos estas observaciones en el Archivo complementario 3 .

Discusión

Los malos ensayos, aquellos en los que tenemos poca confianza en los resultados, no solo son comunes, sino que representan la mayoría de los ensayos en todas las áreas clínicas en todos los países. Más de la mitad de todos los participantes del ensayo estarán en uno. Nuestras estimaciones sugieren que el dinero gastado en estos malos juicios financiaría al mayor financiador público de juicios del Reino Unido durante entre una década y un siglo. Es una amplia gama, pero de cualquier manera, es mucho dinero. Si nuestra selección aleatoria hubiera producido un conjunto diferente de revisiones, o hubiéramos evaluado todas las publicadas en los últimos 1, 5, 10 o 20 años, no tenemos motivos para creer que el resultado principal habría sido diferente. En pocas palabras, la mayoría de los ensayos aleatorios son malos.

A pesar de esto, creemos que nuestra medida de lo malo es en realidad conservadora porque solo hemos considerado el riesgo de sesgo. No intentamos juzgar si los ensayos plantearon preguntas de investigación importantes, si involucraron a los participantes correctos y si sus resultados fueron importantes para quienes toman las decisiones, como pacientes y profesionales de la salud, ni intentamos comentar sobre las muchas otras decisiones que afectan la utilidad. de un juicio [ 16 , 17 ]. En resumen, el panorama que pintan nuestros números es sin duda sombrío, pero la realidad probablemente sea peor.

Cinco recomendaciones para el cambio

Se han sugerido muchas ideas sobre lo que debe cambiar [ 1 , 3 , 4 , 5 , 6 , 7 , 8 ], pero proponemos solo cinco aquí porque la escala del problema es tan grande que si se enfoca podría evitar verse abrumado por la inacción. . Creemos que estas cinco recomendaciones, si se implementan, reducirían la cantidad de pruebas incorrectas y podrían hacerlo con bastante rapidez.

Recomendación 1: no financiar un ensayo a menos que el equipo del ensayo tenga experiencia metodológica y estadística

Hacer trial es un deporte de equipo. Estos equipos necesitan metodólogos y estadísticos experimentados. No sabemos cuántos ensayos no logran involucrar a metodólogos y estadísticos experimentados, pero esperamos que sea una proporción alta debido a los errores de diseño fácilmente evitables observados en tantos ensayos. Es difícil imaginarse hacer, por ejemplo, una cirugía intestinal sin involucrar a personas que han sido entrenadas y saben cómo hacer cirugía intestinal. Lamentablemente, lo mismo no parece ser cierto para el diseño del ensayo y el análisis estadístico de los datos del ensayo. Nuestro colega Darren Dahly, un estadístico de prueba, capturó claramente el problema en una serie de tweets irónicos enviados a fines de 2020:

figura un

Estos provocan una sonrisa, pero plantean un punto muy serio: no toleraríamos que los estadísticos hicieran cirugía, entonces, ¿por qué toleramos lo contrario? Claramente, no se trata de cirujanos, se trata de no tener la experiencia necesaria para hacer el trabajo correctamente.

Recomendación 2: no dar aprobación ética para un ensayo a menos que el equipo del ensayo tenga experiencia metodológica y estadística

Igual que la recomendación 1, pero para aprobación ética. Todos los ensayos necesitan aprobación ética y el uso de métodos deficientes debe verse como una preocupación ética [ 3 ]. Ningún paciente o miembro del público debería estar en un mal juicio y los comités de ética, como los financiadores, tienen el deber de evitar que esto suceda. Los comités de ética siempre deben considerar si existe la experiencia metodológica y estadística adecuada dentro del equipo del ensayo. De hecho, creemos que los contribuyentes públicos y pacientes en los comités de ética deberían hacerse la pregunta de forma rutinaria: «¿Quién es el estadístico y quién es el metodólogo?» y si la respuesta es insatisfactoria, no se otorga la aprobación ética hasta que se pueda poner un nombre en contra de estos roles.

Recomendación 3: utilizar una herramienta de riesgo de sesgo en el diseño del ensayo

Esta es la más simple de nuestras recomendaciones. Se desarrollaron herramientas de riesgo de sesgo para apoyar la interpretación de los resultados de los ensayos en las revisiones sistemáticas. Sin embargo, como escribieron Yordanov y sus colegas en 2015 [ 5], para entonces el caballo se ha desbocado y no se puede cambiar nada. Consideraron 142 ensayos con alto riesgo de sesgo y encontraron que los cuatro problemas metodológicos más comunes eran la exclusión de pacientes del análisis (50 ensayos, 35 %), la falta de cegamiento con un resultado informado por el paciente (27 ensayos, 19 %), la falta de cegamiento al comparar un tratamiento no farmacológico con nada (23 ensayos, 16 %) y métodos deficientes para tratar los datos faltantes (22 ensayos, 15 %). Consideraron que el primero y el último de estos eran fáciles de solucionar en la etapa de diseño, mientras que los dos problemas de cegamiento eran más difíciles pero no imposibles de solucionar. Lamentablemente, los propios equipos de prueba no habían abordado ninguno de estos problemas.

Aplicar una herramienta de riesgo de sesgo en la fase de diseño del ensayo, tener la experiencia metodológica y estadística para interpretar correctamente los resultados y luego realizar los cambios necesarios en el ensayo ayudaría a evitar algunos de los problemas destacados por otros [ 3 , 4 , 5 , 6 , 7 , 8 ] en el pasado y que hemos encontrado que son muy comunes.

Aplicar una herramienta de riesgo de sesgo en la fase de diseño del ensayo, tener la experiencia metodológica y estadística para interpretar correctamente los resultados y luego realizar los cambios necesarios en el ensayo ayudaría a evitar algunos de los problemas que nosotros y otros [ 3 , 4 , 5 , 6 , 7 , 8 ] resaltar. Los financiadores podrían solicitar ver la herramienta de riesgo de sesgo completa, al igual que los comités de ética. Ningún ensayo debe tener un alto riesgo de sesgo.

Recomendación 4: capacitar y apoyar a más metodólogos y estadísticos

Las recomendaciones 1, 2 y 3 conducen a la necesidad de más metodólogos y estadísticos. Esto tiene un costo, pero probablemente sería mucho menor que el dinero desperdiciado en malos juicios. Ver recomendación 5.

Recomendación 5: poner más dinero en investigación de metodología aplicada e infraestructura de apoyo

Actualmente, la investigación metodológica se basa principalmente en el amor, no en el dinero. Esto parece extraño cuando más del 60 % de los ensayos son tan defectuosos metodológicamente que no podemos creer sus resultados y no estamos seguros de si debemos creer los resultados de otro 30 %.

En 2015, David Moher y Doug Altman propusieron que el 0,1 % de los presupuestos de los financiadores y los editores se pudiera reservar para iniciativas para reducir el desperdicio y mejorar la calidad y, por lo tanto, el valor de las publicaciones de investigación [ 6]. Eso fue para las publicaciones, pero se podría hacer lo mismo para los ensayos, aunque sugeriríamos una cifra más cercana al 10 % de los presupuestos de los patrocinadores. Todas las organizaciones que financian ensayos también deberían financiar el trabajo aplicado para mejorar la metodología de los ensayos, incluido el apoyo a la formación de más metodólogos y estadísticos. También debe haber mecanismos de financiación para garantizar que el conocimiento de la metodología se difunda e implemente de manera efectiva. La difusión es un problema particular y el único financiador de metodología dedicado del Reino Unido, el panel «Mejores métodos, mejor investigación» del Consejo de Investigación Médica-NIHR, reconoce esto en sus Objetivos del programa [ 18 ].

Implementar estas cinco recomendaciones requerirá esfuerzo e inversión, pero no hacer nada no es una opción que nadie deba aceptar. Hemos demostrado que 220 850 personas se inscribieron en ensayos que se consideraron tan defectuosos desde el punto de vista metodológico que podemos tener poca confianza en sus resultados. Otras 127 290 personas se unieron a ensayos en los que no está claro si debemos creer en los resultados. Estos números representan el 88% de todos los participantes del ensayo en nuestra muestra. Esta es una traición a las esperanzas, la buena voluntad y el tiempo de esos participantes. Incluso nuestra estimación de costo por participante más baja sugeriría que se gastaron más de mil millones de libras esterlinas en estos malos y posiblemente malos ensayos.

La pregunta para todos los asociados con el diseño, la financiación y la aprobación de ensayos es ¿cuántos buenos ensayos nunca se llevan a cabo porque en su lugar se realizan malos? El costo de este desperdicio de investigación no es solo financiero. Los ensayos aleatorizados tienen el potencial de mejorar la salud y el bienestar, cambiar vidas para mejor y apoyar las economías a través de poblaciones más saludables. Pero la evidencia deficiente conduce a malas decisiones [ 19 ]. La sociedad solo verá los beneficios potenciales de los ensayos aleatorios si estos estudios son buenos y, por el momento, la mayoría no lo son.

En este estudio, nos hemos concentrado en el riesgo de sesgo. Lo que hace que nuestros resultados sean particularmente preocupantes es que los cambios necesarios para que un ensayo pase de un alto riesgo de sesgo a un bajo riesgo de sesgo suelen ser simples y económicos. Sin embargo, esto también es positivo en relación a cambiar lo que sucederá en el futuro. Por ejemplo, Yordanov y sus colegas estimaron que los ajustes metodológicos fáciles en la etapa de diseño habrían logrado mejoras importantes en el 42 % (intervalo de confianza del 95 % = 36 a 49 %) de los ensayos con riesgo de sesgo [ 5]. Su explicación para que estos ajustes no se hicieran en los ensayos fue la falta de aportes de los metodólogos y estadísticos en la etapa de planificación del ensayo combinada con un conocimiento insuficiente de los métodos de investigación entre los equipos de ensayo. Si tuviéramos que pedirle a un estadístico que opere a un paciente, tendríamos razón en temer por el paciente: proponer que un ensayo se diseñe y se lleve a cabo sin experiencia en métodos de investigación debería inducir el mismo temor.

En 2009, Iain Chalmers y Paul Glasziou estimaron que el 85 % del gasto en investigación se desperdicia debido, entre otras cosas, a un diseño deficiente y a informes incompletos [ 7 ]. Más de una década después, nuestra estimación es que el 88 % del gasto en juicios se desperdicia. Sin abordar el problema fundamental de los ensayos realizados por personas mal preparadas para hacerlos, un estudio similar dentro de una década encontrará una vez más que la mayoría de los ensayos en todas las áreas clínicas en todos los países son malos.

Nuestro trabajo, y el de otros antes que nosotros [ 1 , 3 , 4 , 5 , 6 , 7 , 8 ], deja en claro que una gran cantidad del dinero que invertimos en juicios a nivel mundial se está desperdiciando. Parte de ese dinero debe reutilizarse para financiar nuestras cinco recomendaciones. Esto bien puede conducir a menos ensayos en general, pero generaría más buenos ensayos y significaría que una mayor proporción de los datos de los ensayos es de la alta calidad necesaria para apoyar y mejorar la salud pública y de los pacientes.

Conclusión

Que tanta investigación, y tantos ensayos, sean y sean malos es un verdadero escándalo. Que continúe décadas después de que otros destacaron el problema es un escándalo mayor. Incluso la pequeña parte de la investigación global presentada en nuestro estudio describe ensayos que involucraron a cientos de miles de personas y costaron cientos de millones de libras, pero que arrojaron poca o ninguna información útil.

La pandemia de COVID-19 ha sido un momento para muchas cosas, incluida la reflexión. A medida que muchos países comienzan a buscar lo que se puede aprender, todos los que estamos relacionados con los ensayos debemos poner el rigor y la metodología donde corresponde: en el centro de nuestra ciencia. Creemos que nuestras cinco recomendaciones son un buen punto de partida.

Para citar a Doug Altman: «Necesitamos menos investigación, mejor investigación e investigación realizada por las razones correctas» [ 1 ]. Así es.

Disponibilidad de datos y materiales.

Todos nuestros datos están disponibles en https://osf.io/dv6cw/?view_only=0becaacc45884754b09fd1f54db0c495 .

abreviaturas

BMJ:

Revista médica británicaCOVID-19:

Enfermedad del coronavirus 2019E1:

Estimación 1E2:

Estimación 2E3:

Estimar 3EUR:

EuroGBP:

Libra esterlinaHTA:

Evaluación de Tecnologías SanitariasNIHR:

Instituto Nacional de Investigaciones en SaludREINO UNIDO:

Reino UnidoEE.UU:

Estados Unidos de AmericaDÓLAR ESTADOUNIDENSE:

Dólar de los Estados Unidos

Referencias

  1. Altman DG. El escándalo de la mala investigación médica. BMJ. 1994;308:283.CAS Artículo Google Académico 
  2. Matthews R, Chalmers I, Rothwell P. Douglas G Altman: estadístico, investigador y fuerza impulsora detrás de iniciativas globales para mejorar la confiabilidad de la investigación en salud. BMJ. 2018;362:k2588.Artículo Google Académico 
  3. Van Calster B, Wynants L, Riley RD, van Smeden M, Collins GS. Metodología sobre métrica: los estándares científicos actuales son un perjuicio para los pacientes y la sociedad. J Clin Epidemiol. 2021;S0895-4356(21)00170-0. https://doi.org/10.1016/j.jclinepi.2021.05.018 .
  4. Glasziou P, Chalmers IC. El desperdicio de investigación sigue siendo un escándalo: un ensayo de Paul Glasziou e Iain Chalmers. MJ. 2018;363:k4645.Artículo Google Académico 
  5. Yordanov Y, Dechartres A, Porcher R, Boutron I, Altman DG, Ravaud P. Pérdida evitable de investigación relacionada con métodos inadecuados en ensayos clínicos. BMJ. 2015;350:h809.Artículo Google Académico 
  6. Moher D, Altman DG. Cuatro propuestas para ayudar a mejorar la literatura de investigación médica. PLoS Med. 2015;12(9):e1001864. https://doi.org/10.1371/journal.pmed.1001864 .Artículo PubMed Centro de PubMed Google Académico 
  7. Chalmers I, Glasziou P. Residuos evitables en la producción y presentación de pruebas de investigación. lanceta _ 2009;374(9683):86–9.Artículo Google Académico 
  8. Macleod MR, Michie S, Roberts I, Dirnagl U, Chalmers I, Ioannidis JPA, et al. Investigación biomédica: aumentar el valor, reducir los residuos. Lanceta. 2014;383(9912):101–4.Artículo Google Académico 
  9. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Manual Cochrane para revisiones sistemáticas de intervenciones versión 6.2 (actualizado en febrero de 2021); 2021. (Capítulos 7 y 8) Cochrane, disponible en www.training.cochrane.org/handbookGoogle Académico 
  10. Chinnery F, Bashevoy G, Blatch-Jones A, et al. Financiación de la investigación del programa de evaluación de tecnología de la salud (HTA) del Instituto Nacional de Investigación en Salud (NIHR) y carga de enfermedad en el Reino Unido. Pruebas. 2018;19:87. https://doi.org/10.1186/s13063-018-2489-7 .Artículo PubMed Centro de PubMed Google Académico 
  11. Walters SJ, Bonacho dos Anjos Henriques-Cadby I, Bortolami O, et al. Reclutamiento y retención de participantes en ensayos controlados aleatorios: una revisión de ensayos financiados y publicados por el Programa de Evaluación de Tecnologías Sanitarias del Reino Unido. Abierto BMJ. 2017;7:e015276. https://doi.org/10.1136/bmjopen-2016-015276 .Artículo PubMed Centro de PubMed Google Académico 
  12. Moore TJ, Heyward J, Anderson G, et al. Variación en los costos estimados de los ensayos de beneficios clínicos fundamentales que respaldan la aprobación de nuevos agentes terapéuticos en EE. UU., 2015-2017: un estudio transversal. Abierto BMJ. 2020;10:e038863. https://doi.org/10.1136/bmjopen-2020-038863 .Artículo PubMed Centro de PubMed Google Académico 
  13. Hawkes N. UK debe mejorar su tasa de reclutamiento en ensayos clínicos, dice el informe. BMJ. 2012;345:e8104. https://doi.org/10.1136/bmj.e8104 .Artículo PubMed Google Académico 
  14. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: una herramienta revisada para evaluar el riesgo de sesgo en ensayos aleatorios. BMJ. 2019;366(l4898). https://doi.org/10.1136/bmj.l4898 .
  15. Williams H. El Programa de Evaluación de Tecnologías de la Salud NIHR: Investigación necesaria por el NHS. https://www.openaccessgovernment.org/nihr-health-technology-assessment-programme-nhs/85065/ [Consultado el 10/11/2021].
  16. Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, et al. Cómo aumentar el valor y reducir el desperdicio cuando se establecen prioridades de investigación. Lanceta. 2014;383:156–65.Artículo Google Académico 
  17. Ioannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Aumentar el valor y reducir el desperdicio en el diseño, la realización y el análisis de la investigación. Lanceta. 2014;383:166–75.Artículo Google Académico 
  18. MRC-NIHR Mejores métodos, mejor investigación. Objetivos del programa. https://mrc.ukri.org/funding/science-areas/better-methods-better-research/overview/#aims [Consultado el 30/9/2021].
  19. Heneghan C, Mahtani KR, Goldacre B, Godlee F, Macdonald H, Jarvies D. Manifiesto de medicina basada en evidencia para una mejor atención médica: una respuesta al sesgo sistemático, el desperdicio, el error y el fraude en la investigación que sustenta la atención al paciente. Basado en Evid Med Royal Soc Med. 2017;22:120–2.Artículo Google Académico 

Descargar referencias

Agradecimientos

Nos gustaría agradecer a Brendan Palmer por ayudar a SP con la codificación R ya Darren Dahly por confirmar que estaba feliz de que usáramos sus tweets. La Unidad de Investigación de Servicios de Salud de la Universidad de Aberdeen recibe fondos básicos de la Oficina Científica Principal de las Direcciones de Salud del Gobierno Escocés. Este trabajo se realizó como parte de la iniciativa Trial Forge para mejorar la eficiencia de los ensayos ( https://www.trialforge.org ).

Fondos

Este trabajo fue financiado por la Junta de Investigación de Salud de Irlanda a través de la Red de Investigación de Metodología de Ensayo (HRB-TMRN) como una pasantía de verano para SP.

Información del autor

Autores y Afiliaciones

  1. Unidad de Investigación de Servicios de Salud, Universidad de Aberdeen, Foresterhill, Aberdeen, AB25 2ZD, Reino UnidoStefania Pirosca y Shaun Treweek
  2. Unidad de Investigación y Metodologías de Ensayos, Centro de Investigación Clínica HRB, University College Cork, Cork, IrlandaFrances Shieley
  3. Escuela de Salud Pública, University College Cork, Cork, IrlandaFrances Shieley
  4. Centro de Metodología de Irlanda del Norte, Queen’s University Belfast, Belfast, Reino Unidomike clarke

Contribuciones

ST tuvo la idea original para el trabajo. ST, FS y MC diseñaron el estudio. SP identificó revisiones y ensayos, extrajo datos y realizó el análisis, en discusión con ST y FS. ST y SP escribieron el primer borrador y todos los autores contribuyeron a otros borradores. Todos los autores aprobaron el borrador final.

Autor correspondiente

Correspondencia a Shaun Treweek .

Declaraciones de ética

Aprobación ética y consentimiento para participar

No aplica.

Consentimiento para publicación

No aplica.

Conflicto de intereses

ST es editor en jefe de Trials . MC, FS y ST participan activamente en iniciativas para mejorar la calidad de los ensayos y todos buscan financiación para apoyar estas iniciativas y, por lo tanto, tienen interés en que aumente la financiación para la metodología de los ensayos. SP no tiene intereses contrapuestos.

Información Adicional

Nota del editor

Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Información suplementaria

Archivo adicional 1 de Tolerando la investigación sobre la mala salud: el escándalo continuoSaltar a navegación de archivosSaltar a la navegación genéricaLa herramienta de la Colaboración Cochrane para evaluar el riesgo de sesgoDominioDescripciónRevisar el juicio de los autoresGeneración de secuenciasDescriba el método utilizado para generar la secuencia de asignación con suficiente detalle parapermitir una evaluación de si debe producir grupos comparables. ¿Fue la secuencia de asignacióngenerado adecuadamente? Ocultamiento de asignaciónDescriba el método utilizado para ocultar la secuencia de asignación con suficiente detalle paradeterminar si las asignaciones de intervención podrían haberse previsto antes de,o durante la inscripción. ¿La asignación fue adecuada?¿ocultado? Cegamiento de participantes, personaly evaluadores de resultadosEvaluacionesdebe hacerse para cada principalresultado (o clase de resultados)Describa todas las medidas utilizadas, si las hubiere, para cegar a los participantes del estudio y al personal deconocimiento de qué intervención recibió un participante. Proporcione cualquier informaciónen relación con si el cegamiento pretendido fue efectivo. ¿Era el conocimiento de laintervención asignadaadecuadamente prevenido durante¿el estudio? Datos de resultados incompletosSe deben hacer evaluaciones para cadaresultado principal (o clase de resultados)Describir la integridad de los datos de resultado para cada resultado principal, incluidosdesgaste y exclusiones del análisis. Indique si la deserción y las exclusiones fueroninformado, los números en cada grupo de intervención (en comparación con el total aleatorioparticipantes), motivos de deserción/exclusiones cuando se informó, y cualquier reinclusión enanálisis realizados por los revisores. ¿Fueron datos de resultados incompletos?abordado adecuadamente? Informe selectivo de resultadosIndique cómo la revisión examinó la posibilidad de informar de forma selectiva los resultadosautores y lo encontrado. ¿Los informes del estudio están libres desugerencia de selectivoinforme de resultados? Otras fuentes de sesgoIndique cualquier preocupación importante sobre el sesgo que no se haya abordado en los otros dominios delherramienta. Si preguntas/entradas particulares fueron preespecificadas en el protocolo de la revisión, las respuestasdebe proporcionarse para cada pregunta/entrada. ¿Fue el estudio aparentemente gratuito?de otros problemas que podríanponerlo en alto riesgo de sesgo? Posible enfoque paraevaluaciones resumidasresultado (entre dominios) dentro y entre estudiosRiesgo de sesgoInterpretaciónWdentro de un estudioa través de estudiosBajo riesgo de sesgoSesgo plausible que es improbable que altere seriamente laresultados.Bajo riesgo de sesgo para todos los dominios clave.La mayor parte de la información proviene de estudios a bajoriesgo de sesgo.Riesgo de sesgo poco claroSesgo plausible que plantea alguna duda sobreLos resultadosRiesgo poco claro de sesgo para una o más clavesdominiosLa mayor parte de la información proviene de estudios de bajo oriesgo de sesgo incierto.Alto riesgo de sesgoSesgo plausible que debilita seriamenteconfianza en los resultados.Alto riesgo de sesgo para una o más clavesdominiosLa proporción de información de los estudioscon alto riesgo de sesgo es suficiente para afectar lainterpretación de los resultados.Criteria for judging risk of bias in the ‘Risk of bias’ assessment tool SEQUENCE GENERATION Was the allocation sequence adequately generated? [Short form: Adequate sequence generation?]Criteria for a judgement of ‘YES’ (i.e. low risk of bias). The investigators describe a random component in the sequence generation process such as: Referring to a random number table; Using a computer random number generator; Coin tossing; Shuffling cards or envelopes; Throwing dice; Drawing of lots; Minimization*. *Minimization may be implemented without a random element, and this is considered to be equivalent to being random. Criteria for the judgement of ‘NO’ (i.e. high risk of bias). The investigators describe a non-random component in the sequence generation process. Usually, the description would involve some systematic, non-random approach, for example: Sequence generated by odd or even date of birth; Sequence generated by some rule based on date (or day) of admission; Sequence generated by some rule based on hospital or clinic record number. Other non-random approaches happen much less frequently than the systematic approaches mentioned above and tend to be obvious. They usually involve judgement or some method of non-random categorization of participants, for example: Allocation by judgement of the clinician; Allocation by preference of the participant; Allocation based on the results of a laboratory test or a series of tests; Allocation by availability of the intervention. Criteria for the judgement of ‘UNCLEAR’ (uncertain risk of bias). Insufficient information about the sequence generation process to permit judgement of ‘Yes’ or ‘No’. ALLOCATION CONCEALMENT Was allocation adequately concealed? [Short form: Allocation concealment?]Criteria for a judgement of ‘YES’ (i.e. low risk of bias). Participants and investigators enrolling participants could not foresee assignment because one of the following, or an equivalent method, was used to conceal allocation: Central allocation (including telephone, web-based, and pharmacy-controlled, randomization); Sequentially numbered drug containers of identical appearance; Sequentially numbered, opaque, sealed envelopes. Criteria for the judgement of ‘NO’ (i.e. high risk of bias). Participants or investigators enrolling participants could possibly foresee assignments and thus introduce selection bias, such as allocation based on: Using an open random allocation schedule (e.g. a list of random numbers); Assignment envelopes were used without appropriate safeguards (e.g. if envelopes were unsealed or non-opaque or not sequentially numbered); Alternation or rotation; Date of birth; Case record number; Any other explicitly unconcealed procedure. cuota de higo1 / 3DescargarArchivo adicional 1Archivo adicional 1. La «antigua» herramienta de la Colaboración Cochrane para evaluar el riesgo de sesgo.

Archivo adicional 1.

La herramienta «antigua» de la Colaboración Cochrane para evaluar el riesgo de sesgo.

Archivo adicional 2.

Datos de riesgo de sesgo para todos los países de nuestra muestra.

Archivo adicional 3.

Observaciones adicionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visitehttp://creativecommons.org/licenses/by/4.0/ . La renuncia de Creative Commons Public Domain Dedication ( http://creativecommons.org/publicdomain/zero/1.0/ ) se aplica a los datos disponibles en este artículo, a menos que se indique lo contrario en una línea de crédito a los datos.

Reimpresiones y permisos

Acerca de este artículo

Citar este artículo

Pirosca, S., Shiely, F., Clarke, M. et al. Tolerando la mala investigación en salud: el escándalo continuo. Ensayos 23, 458 (2022). https://doi.org/10.1186/s13063-022-06415-5

Descargar cita

para acceder a la publicación original, cliquear aquí

About The Author