¿Cuáles son las posibilidades de morir en un accidente aéreo? Según el informe de 2022 publicado por la Asociación Internacional de Transporte Aéreo. El riesgo de muerte en la industria es de 0,11. De media Las personas tendrían que tomar un vuelo todos los días durante 25.214 años para tener un 100 por ciento de posibilidades de sufrir un accidente fatal. La industria de la aviación, altamente regulada, ha sido promocionada durante mucho tiempo como una de las formas de transporte «más desfavorables». Esto hace que los científicos del MIT piensen que esta podría ser la clave para aprovechar la inteligencia artificial en la atención sanitaria.
Marzyeh Ghassemi, profesora asistente del MIT en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) y del Instituto de Ingeniería Médica, y Julie Shah, profesora H.N. Slater en el Departamento de Aeronáutica y Astronáutica del MIT, compartieron su interés en el desafío de Transparencia en los modelos de IA después de hablar. Hablando a principios de 2023, se dieron cuenta de que la aviación podría usarse como modelo para garantizar que los pacientes marginados no se vean perjudicados por modelos de IA sesgados.
Ghassemi, quien también es investigador principal de la Clínica Abdul Latif Jameel de Aprendizaje Automático en Salud del MIT (Clínica Jameel) y del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), Shah reclutó a un equipo de investigadores, abogados y analistas de políticas del MIT. La Universidad de Stanford, la Federación de Científicos Estadounidenses, la Universidad Emory, la Universidad de Adelaida, Microsoft y la Universidad de California en San Francisco lanzarán proyectos de investigación. Los hallazgos fueron reconocidos recientemente por Equity and Access en la conferencia Algoritmos, Mecanismos y Optimización.
“Creo que muchos de nuestros coautores están entusiasmados con el potencial de la IA para tener un impacto positivo en la sociedad. especialmente con los avances recientes”, dijo la primera autora Elizabeth Bondi-Kelly, ahora profesora asistente de EECS en la Universidad de Michigan. , estudiante postdoctoral en el laboratorio de Ghassemi, comenzó el proyecto. “Pero somos cautelosos y esperamos desarrollar un marco para gestionar los riesgos potenciales a medida que comiencen los despliegues. Así que buscábamos inspiración para ese marco”.
La IA sanitaria actual es similar a lo que era la industria de la aviación hace un siglo, dijo la coautora Lindsay Sanneman, estudiante de doctorado en el Departamento de Aeronáutica y Astronáutica del MIT. Se la llama la «Edad de Oro de la Aviación» pero también se producen accidentes graves. “Un número alarmantemente grande”, según el Centro de Políticas Públicas de Mackinac.
Jeff Marcus, el actual jefe de la Junta Nacional de Seguridad en el Transporte (NTSB), publicó recientemente una entrada de blog para el Mes Nacional de la Aviación en la que afirma que, aunque se produjeron muchos accidentes graves durante la década de 1920, 1929 sigue siendo el “peor año registrado” en cuanto a los accidentes de aviación más mortíferos. en Historia. Se informaron 51 accidentes, lo que según los estándares actuales se estima en 7.000 accidentes por año, o 20 por día. En respuesta al elevado número de accidentes fatales en la década de 1920, el presidente Calvin Coolidge aprobó una legislación histórica en 1926 conocida como la Ley de Comercio Aéreo. que regula los viajes aéreos a través del Ministerio de Comercio
Pero las similitudes no terminan ahí. El camino posterior del vuelo hacia la automatización es similar al de la IA. La explicabilidad de la IA es un tema controvertido debido al famoso problema de la «caja negra» de la IA, que ha llevado a los investigadores de IA a argumentar que los modelos de IA deben ser «explicables». entregado al usuario? antes de convencerlos de que siguieran ciegamente las recomendaciones del modelo.
«Durante la década de 1970, hubo un aumento en el uso de sistemas de automatización… Sistemas de automatización que mantienen a los pilotos informados sobre los riesgos», agrega Sanneman, «hay dificultades crecientes a medida que la automatización ingresa a la aviación en términos de interacción humana con el sistema automático». Esto puede causar confusión cuando el piloto no tiene conocimiento de lo que está haciendo la automatización”.
Hoy en día, convertirse en capitán de una aerolínea comercial requiere 1.500 horas de vuelo junto con capacitación en equipos. Según el informe de los investigadores Este proceso riguroso e integral toma aproximadamente 15 años, incluyendo una licenciatura y un copiloto. Los investigadores creen que el éxito de la formación piloto generalizada podría proporcionar un modelo potencial para formar a los médicos en el uso de herramientas de inteligencia artificial en entornos sanitarios.
El artículo también ofrece informes alentadores sobre herramientas de IA relacionadas con la salud que fallan de la misma manera que la Agencia Federal de Aviación (FAA) lo hace con los pilotos a través de una “inmunidad limitada”, que les permite conservar sus licencias después de hacerlo. Mientras no sea intencional
Según el informe de 2023 publicado por la Organización Mundial de la Salud. En promedio, 1 de cada 10 pacientes sufre un evento adverso (como un “error médico”) mientras está hospitalizado en los países de altos ingresos.
Sin embargo, en la práctica sanitaria actual Los médicos y trabajadores de la salud a menudo temen denunciar errores médicos. No sólo por preocupaciones sobre la culpa y la autocrítica. pero también por las consecuencias negativas que enfatiza el castigo a los individuos, como la revocación de licencias médicas. En lugar de ello, reformar el sistema que causa más errores médicos.
“En términos de salud Cuando el martillo falla Los pacientes también sufren”, escribió Ghassemi en un reciente artículo de opinión publicado en naturaleza del comportamiento humano“Esta realidad presenta riesgos éticos inaceptables para la comunidad médica de IA que se enfrenta a problemas complejos de atención. Escasez de personal y un sistema sobrecargado”.
Grace Wickerson, coautora y directora de políticas de equidad en salud de la Federación de Científicos Estadounidenses El nuevo documento se considera una adición importante al marco regulatorio más amplio que aún no existe. «Creo que hay muchas cosas que podemos hacer con las agencias gubernamentales existentes», dijeron. «Hay muchas maneras en que Medicare y Medicaid pueden pagar la IA sanitaria. Para garantizar que se considere la equidad en la adquisición o el reembolso de tecnología, los NIH (Institutos Nacionales de Salud) pueden financiar investigaciones adicionales para crear algoritmos más equitativos. y crear estándares para estos algoritmos que la FDA (Administración de Alimentos y Medicamentos) podría utilizar mientras intenta descubrir qué significa equidad en salud. ¿Y cómo se controla dentro de la agencia actual?
Entre otras agencias Este artículo ha identificado seis agencias gubernamentales clave que pueden ayudar a regular la IA en la salud, entre ellas: la FDA, la Comisión Federal de Comercio (FTC), la Agencia de Proyectos de Investigación Avanzada para la Salud, que se estableció próximamente, la Agencia para la Investigación y la Calidad de la Atención Médica, los Centros para Medicare y Medicaid, Departamento de Salud y Servicios Humanos y la Oficina de Derechos Civiles (OCR).
Pero Vickerson dice que es necesario hacer más. La parte más desafiante de escribir un informe, en opinión de Vickerson, es «Imagínense lo que aún no tenemos».
En lugar de depender únicamente de las agencias reguladoras existentes El documento también propone crear una agencia de revisión independiente, similar a la NTSB, que permitiría revisiones de seguridad de los sistemas de IA de salud que no funcionan correctamente.
“Creo que esa es la cuestión actual de la gobernanza tecnológica. No hemos tenido una organización que evaluara el impacto de la tecnología desde la década de 1990″, añadió Wickerson. «Solía haber una oficina de evaluación de tecnología… antes de que comenzara la era digital. Existe esta oficina. Y el gobierno federal permitió que cerrara”.
Zach Harned, coautor y recién graduado de la Facultad de Derecho de Stanford, cree que un desafío clave en las tecnologías emergentes es la regulación del desarrollo de tecnologías innovadoras. «sin embargo La importancia de la tecnología de IA y sus posibles beneficios y riesgos. Esto es especialmente cierto en el campo de la salud. «Esto ha dado lugar a una oleada de esfuerzos regulatorios», dijo Harned. «Claramente, la FDA es un actor clave aquí. Y han publicado guías y documentos técnicos que intentan demostrar su postura cambiante sobre la IA. Sin embargo, la privacidad será otro tema clave a tener en cuenta. Existe la aplicación de la OCR de la HIPAA (Ley de Responsabilidad y Portabilidad de Seguros Médicos) y la FTC de las violaciones de privacidad para entidades no cubiertas por la HIPAA”.
Harned señaló que la zona se está desarrollando rápidamente. Esto incluye avances como la reciente Orden Ejecutiva 14110 de la Casa Blanca sobre el desarrollo de una IA segura y confiable. así como actividades regulatorias en la Unión Europea (UE), incluida la legislación sustantiva sobre IA de la UE. Casi a la conclusión «Ciertamente es un momento emocionante para ver esta importante tecnología desarrollada y regulada para garantizar la seguridad sin sofocar la innovación», dijo.
Además de las actividades regulatorias Este artículo también recomienda otras oportunidades. Crear incentivos para herramientas de inteligencia artificial para la salud más seguras, como programas de pago por desempeño. La compañía de seguros premiará a los hospitales con buen desempeño. (Aunque los investigadores reconocen que este enfoque requerirá supervisión adicional para Hay igualdad)
¿Cuánto tiempo creen los investigadores que tomaría crear un sistema regulatorio viable para la IA en salud? Según el informe, “los sistemas NTSB y FAA donde la investigación y la aplicación de la ley residen en dos agencias diferentes. Fue creado por el Congreso durante décadas”.
Bondi-Kelly espera que este artículo contribuya a desbloquear los misterios del control de la IA en su mente: “El escenario soñado es que todos leamos este artículo y nos inspiremos para utilizar las lecciones prácticas de la aviación para ayudar a la IA a prevenir los peligros de la IA. que pueda ocurrir durante el uso”.
Además de Ghassemi, Shah, Bondi-Kelly y Sanneman, los coautores del MIT incluyen al científico investigador Leo Anthony Celi y a los ex postdoctorados Thomas Hartvigsen y Swami Sankaranarayanan. La financiación para este trabajo provino en parte de la beca MIT CSAIL METEOR, Quanta Computing, la Fundación Volkswagen, los Institutos Nacionales de Salud, la Cátedra de Desarrollo Profesional Herman LF von Helmholtz y un premio CIFAR Azrieli Global Scholar.