Estudios COVID-19
8 de abril de 2020 | Centro Cochrane Iberoamericano

Mensajes clave

• Una revisión sistemática ha identificado 31 modelos de predicción de la COVID-19, de los cuales 18 son modelos de diagnóstico, 10 son modelos de pronóstico y 3 son modelos de predicción de ingreso hospitalario por neumonía.
• Los modelos predictivos disponibles hasta el momento están sujetos a un alto riesgo de sesgo de selección de participantes y su análisis estadístico también presenta limitaciones.
• Como consecuencia de estas limitaciones, el rendimiento real de los modelos es previsiblemente inferior al descrito por sus autores.
  
  

Contexto

Los modelos de predicción son una herramienta de apoyo a los profesionales para evaluar a los pacientes con COVID-19 y asignar recursos de salud. Estos modelos de predicción combinan diversas variables o características para estimar el riesgo de que las personas se infecten o experimenten un mal resultado de la infección (en definitiva, que tengan un mal pronóstico).

Unos investigadores han desarrollado una revisión sistemática que tiene por objetivo identificar de manera sistemática y valorar críticamente los modelos disponibles de predicción para la COVID-19, en particular los modelos diagnósticos y pronósticos [1].

Metodología

La revisión incluyó estudios que hubieran desarrollado o validado un modelo multivariado o una escala de puntuación, basado en datos de participantes individuales, para predecir cualquier resultado relacionado con la COVID-19. Se realizaron búsquedas en PubMed y EMBASE, además de los servidores de prepublicación bioRxiv, medRxiv y arXiv. Se usaron los términos metodológicos siguientes: diagnóstico, pronóstico, modelo predictivo, aprendizaje automático (machine learning), inteligencia artificial, algoritmo, escala, aprendizaje profundo (deep learning), regresión. Los autores evaluaron el riesgo de sesgo de los modelos incluidos mediante la herramienta PROBAST, específica para los modelos predictivos [2].

Para aquellos que aportaron información, se obtuvo el rendimiento predictivo de cada modelo, particularmente las medidas de discriminación y calibración. La discriminación se refiere a la medida en que los riesgos predichos discriminan entre los participantes con y sin el resultado, mientras que la calibración se refiere a la medida en que los riesgos predichos corresponden a los riesgos observados.

Información relevante

La revisión incluyó 27 estudios que describían 31 modelos de predicción: 18 fueron estudios de modelos diagnósticos, 3 modelos de predicción de ingreso hospitalario por neumonía en población general, y 10 modelos pronóstico.

La gran mayoría de modelos diagnósticos para detección de COVID-19 o neumonía por COVID-19 (13 de los 18) se basaban en imágenes de tomografía computarizada. Seis de los 10 modelos pronóstico estimaron el riesgo de mortalidad en pacientes con sospecha o confirmación de COVID-19, dos modelos estimaron el riesgo de progresión a un estadio de la enfermedad avanzado o crítico, y dos más estimaron la duración de la hospitalización. La mayoría de los modelos se desarrollaron a partir de datos de pacientes con COVID-19 de China, excepto un estudio que utilizó datos de pacientes de Italia y otro estudio que utilizó datos internacionales (Estados Unidos, Reino Unido y China, entre otros).

Todos los modelos tenían un alto riesgo de sesgo de acuerdo con la evaluación con la herramienta PROBAST. De los 27 estudios incluidos, 11 tenían un alto riesgo de sesgo para el dominio de los participantes, y todos los estudios tenían un alto riesgo de sesgo para el dominio de análisis estadístico. El sesgo de selección en los modelos de predicción del riesgo de ingreso hospitalario por neumonía por COVID-19 fue debido a que se desarrollaron a partir de un conjunto de datos que no contenían ningún paciente con COVID-19, utilizando como medida subrogada el ingreso por neumonía no tuberculosa, influenza, bronquitis aguda o infecciones del tracto respiratorio superior. Sólo cuatro modelos fueron validados externamente en un conjunto de datos independientes. Sin embargo, en tres de estos estudios, los conjuntos de datos de validación externa no eran representativos de la población objetivo. El cuarto estudio, de pequeño tamaño (sólo 27 participantes), tuvo limitaciones importantes por un sesgo de selección. Asimismo, sólo tres de los 18 estudios incluidos sobre modelos diagnósticos evaluaron la calibración, y solo uno de ellos aplicó un método adecuado.

Conclusiones

Los modelos de predicción evaluados en la revisión sistemática tenían un alto riesgo de sesgo y no disponían de validaciones externas independientes. El alto riesgo de sesgo observado era debido a una descripción deficiente de los modelos y a problemas metodológicos en cuanto a la selección de participantes, la descripción de los factores predictores y los métodos estadísticos utilizados.

Este alto riesgo de sesgo implica que los modelos probablemente tendrán un rendimiento peor en la práctica que el rendimiento descrito por los investigadores. Por ese motivo, los autores de la revisión sistemática concluyen que en estos momentos no pueden recomendar ningún modelo para ser usado en la práctica, ya que la toma de decisiones clínicas basadas en predicciones poco fiables podría causar más daño que beneficio. La previsible disponibilidad a corto plazo de bases de datos internacionales de datos de pacientes individuales con COVID-19 permitirá validar y actualizar los modelos disponibles actualmente, superando así una de sus limitaciones.

Referencias

[1] Wynants Laure, Van Calster Ben, Bonten Marc M J, Collins Gary S, Debray Thomas P A, De Vos Maarten et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal BMJ 2020; 369:m1328

[2] Moons KGM, Wolff RF, Riley RD, et al. PROBAST: a tool to assess risk of bias and applicability of prediction model studies: explanation and elaboration. Ann Intern Med 2019;170:W1-33. doi:10.7326/ M18-1377