RSNA abre un desafío de $77,000 para una IA que lea resonancias magnéticas de rodilla y elabore informes.

El concurso de Kaggle utiliza más de 5,000 exámenes de 16 instituciones e incluye una modalidad separada de eficiencia.

By · Published

Why it matters

RSNA is testing whether multimodal medical AI can generalize across hospitals and languages while remaining efficient enough for real clinical infrastructure.

Illustration of a human knee MRI scan beside charts and a document labeled RSNA and Kaggle, representing the contest to build AI that reads and reports knee MRIs.

The Radiological Society of North America ha abierto una competencia de $77,000 en Kaggle para modelos de machine learning que detecten 12 anomalías clínicamente importantes en exámenes de MRI de rodilla.

El concurso se abrió el 30 de julio y requiere que los participantes trabajen con imágenes médicas y texto de informes radiológicos. Las inscripciones finales se deben entregar el 22 de octubre, después de la fecha límite de inscripción y fusión de equipos del 15 de octubre. El fondo de premios incluye galardones para las entradas con las puntuaciones más altas y una categoría separada de eficiencia.

RSNA construyó el benchmark a partir de más de 5,000 exámenes de MRI de rodilla suministrados por 16 instituciones de todo el mundo. Cada examen está emparejado con su informe original, y la colección abarca nueve idiomas. RSNA afirma que este es el primero de sus retos anuales de IA que usa imágenes y texto de informes juntos durante el desarrollo y la evaluación de modelos.

Una prueba multimodal con variación clínica

La interpretación de una MRI de rodilla requiere que los radiólogos evalúen varias estructuras y hallazgos dentro del mismo examen. La modalidad puede revelar lesiones de ligamentos y meniscos, pérdida de cartílago, lesiones de la médula ósea, derrame articular, sinovitis y quistes. Estos hallazgos pueden coexistir, por lo que el reto es un problema de clasificación multilabel más que la búsqueda de una lesión aislada.

Emparejar exploraciones con informes también da a los competidores dos miradas imperfectas del mismo caso. Las imágenes contienen la anatomía subyacente, mientras que los informes codifican las observaciones y la terminología del radiólogo que interpretó el estudio. Los modelos tendrán que reconciliar esas entradas sin aprender atajos ligados a un hospital, idioma o estilo de informe particular.

La dispersión geográfica del conjunto de datos aumenta la dificultad. Los protocolos de MRI, el hardware de los escáneres y la documentación clínica varían entre instituciones. Un modelo que funcione bien porque reconoce la configuración de adquisición o el vocabulario de un sitio puede fallar cuando se evalúe con datos de otro sistema de salud. El diseño con 16 instituciones le da a RSNA una forma de evaluar parte de ese cambio en la distribución dentro de una sola competencia.

RSNA pone la eficiencia en la tabla de clasificación

Los premios por eficiencia abordan otro problema recurrente en competiciones de imagen médica: la entrada más precisa puede depender de un conjunto de modelos (ensemble) que resulta demasiado caro o lento para el uso rutinario. Los exámenes de MRI contienen sustancialmente más datos que una radiografía única, y procesar cada caso mediante varios modelos grandes puede aumentar el tiempo de inferencia y los requisitos de hardware.

Al recompensar la eficiencia por separado, RSNA está dando a los competidores un incentivo para comprimir modelos, reducir el preprocesamiento y limitar el tamaño del conjunto de modelos mientras conservan el rendimiento diagnóstico. Ese equilibrio importa en clínicas donde el software de imagen debe procesar estudios junto con los sistemas radiológicos existentes y no puede asumir acceso a grandes clústeres de aceleradores.

La competencia aún mide el rendimiento en el benchmark, no la preparación clínica. El formato del reto de RSNA proporciona a los participantes datos de entrenamiento etiquetados y evalúa los modelos finales contra una porción oculta del conjunto de datos. Una alta puntuación en la tabla de clasificación privada muestra que un modelo coincidió con las etiquetas derivadas por expertos del reto bajo sus condiciones de prueba. No establece seguridad en todos los escáneres, poblaciones de pacientes o flujos de trabajo clínicos.

Investigaciones anteriores muestran tanto el potencial como la brecha restante. Un estudio de 2021 publicado en Radiology: Artificial Intelligence probó modelos de deep learning en anomalías de MRI de rodilla que involucraban cartílago, médula ósea, meniscos y el ligamento cruzado anterior. La sensibilidad reportada osciló entre 70% y 88%, mientras que la especificidad estuvo entre 85% y 89%. La asistencia de IA mejoró el acuerdo en 10 de 16 comparaciones que involucraron a médicos asistentes y residentes.

La nueva competencia de RSNA amplía ese problema a más instituciones, más clases de anomalías e informes multilingües. El resultado más fuerte deberá sobrevivir a la variación tanto en píxeles como en el lenguaje clínico, y además hacerlo dentro de los límites computacionales enfatizados por los premios por eficiencia.

Los equipos deben enviar los modelos finales antes del 22 de octubre. RSNA ha programado su fecha límite de requisitos para ganadores el 5 de noviembre, antes del reconocimiento a los equipos con mejor desempeño en su reunión anual.

Reader comments

Conversation for this story loads after sign-in.