Hay muchas tareas en biomedicina que una computadora realiza con mayor precisión y eficiencia que una persona; tomemos la detección del cáncer de mama mediante una mamografía, como solo un ejemplo.
Pero también hay muchos problemas relacionados con la salud y las enfermedades que nadie se ha sentido tentado a resolver con un algoritmo de inteligencia artificial. O hay varios modelos que abordan el mismo problema y no está claro cuál funciona mejor.
Los desafíos biomédicos pueden ayudar.
Estos concursos permiten a todos, desde programadores de secundaria hasta compañías farmacéuticas, crear el mejor modelo impulsado por aprendizaje automático o inteligencia artificial para resolver un acertijo médico. Algunos tienen premios, mientras que otros ofrecen el derecho a presumir y la satisfacción de ayudar al avance de la ciencia.
Ahora existe una plataforma que aglutina y promueve estos concursos. Bioredes sabiasuna organización sin fines de lucro de Seattle, lanzó este mes Retos abiertosun sitio web gratuito donde las personas que ofrecen y participan en desafíos biomédicos pueden encontrar nuevos eventos y enfrentamientos.
Actualmente hay 11 concursos activos y próximos en el sitio y 270 eventos completados. Incluyen predecir el trastorno bipolar examinando fragmentos de secuencias genéticas, reconocer traumatismos abdominales en tomografías computarizadas, detectar parásitos en las células y predecir el olor de una molécula en función de sus propiedades físicas, entre tareas más esotéricas.
“Lo realmente interesante es que los desafíos son una interfaz entre dos comunidades que no hablan mucho entre sí y que realmente deberían trabajar mucho juntas”, dijo Luca Foschini, presidente y director ejecutivo de Sage Bionetworks. Esas comunidades son los científicos que trabajan en temas de salud y los ingenieros de inteligencia artificial que construyen los algoritmos.
Así es como funcionan los desafíos:
- Una organización como una organización de investigación sin fines de lucro, universidades y compañías farmacéuticas y de otro tipo crea un concurso y encuentra un patrocinador para pagar el enfrentamiento y, a veces, ofrecer un premio.
- Los participantes construyen un algoritmo y lo entrenan a partir de conjuntos de datos públicos o propietarios.
- Los participantes envían su algoritmo en una “caja negra” para garantizar la privacidad tanto de los conjuntos de datos propietarios como del modelo.
- Los organizadores toman un conjunto de datos adquiridos de un sistema de salud o de otro tercero y prueban el algoritmo. El conjunto de datos ha sido verificado por humanos o “probado en el terreno” (en el caso del cáncer de mama, por ejemplo, los investigadores han verificado mediante biopsias qué imágenes contienen un cáncer), por lo que se conocen las respuestas correctas.
- El algoritmo ganador establece un punto de referencia para medir otros enfoques. (También existen conjuntos de datos de referencia que son el estándar para probar algoritmos).
Además de crear OpenChallenges, Sage Bionetworks también organiza sus propios concursos. La organización sin fines de lucro está ansiosa por crear un proceso estandarizado para la logística de plantear los desafíos, lo que puede requerir mucha mano de obra y ser costoso.
También puede resultar engañosamente difícil evaluar con éxito modelos biomédicos.
“Hasta ahora, el aprendizaje automático se ha centrado principalmente en la precisión: ¿qué tan bien se puede igualar la verdad básica?” dijo Foschini. “La gente está empezando a darse cuenta de que eso no es lo único que importa. La seguridad importa. La equidad importa”.
Un algoritmo podría, por ejemplo, funcionar bien en pacientes en general, pero mal cuando se analizan subconjuntos como personas de una determinada raza.
Una nueva dificultad que está surgiendo es el uso de grandes modelos de lenguaje que requieren mucho tiempo y computación para los análisis biomédicos. Si bien estos modelos pueden producir grandes resultados, las soluciones también deben ser factibles y prácticas para la investigación y el uso comercial (y para los concursos mismos). El costo de ese tipo de computación aumenta rápidamente.
“Eso es lo que me mantiene despierto por la noche”, dijo Foschini. “¿Cómo vamos a pasar a la era de los grandes modelos de IA que son tan costosos de ejecutar una sola vez para evaluarlos?” [it]?
