Por Brook White
La IA está presente en todas las conferencias del sector, pero la mayoría de las sesiones se centran en lo que la tecnología es capaz de hacer. En SCOPE Europe, nuestro vicepresidente de Cumplimiento Normativo y Seguridad, Marc Wartenberger, moderó una mesa redonda en la que se planteó una pregunta más compleja: ¿qué se necesita para utilizar la IA en tareas reguladas por la GCP y poder defender su uso ante una inspección?
La mesa redonda reunió a un patrocinador, un « CRO » y un organismo regulador. A pesar de sus diferentes puntos de vista, se fueron repitiendo los mismos temas. La mayoría de las organizaciones se encuentran en algún punto entre la fase piloto y la expansión, y la tarea actual consiste en poner en práctica un uso responsable. Esto es lo que deberían tener en cuenta compañías farmacéuticas y Clinicas .
No hace falta que empieces de cero
La idea errónea más extendida es que la IA implica desechar los procesos existentes. Los ciclos de vida establecidos de GCP son sólidos. Lo que cambia es la incorporación de controles que antes no existían, como la supervisión de sesgos y desviaciones. Empieza con lo que tienes y adáptalo.
La gobernanza empieza por la transparencia
No se puede gestionar lo que no se ve. Las organizaciones que gestionan bien la IA suelen canalizar los nuevos casos de uso a través de un único punto de entrada centralizado, en lugar de dejar que la adopción se produzca equipo por equipo. De este modo, un grupo multifuncional puede plantear las preguntas adecuadas:
- ¿Qué problema empresarial resuelve esto?
- ¿Existen soluciones más sencillas o ya existentes?
- ¿Cuenta ya la IA propuesta con un contexto de uso aprobado?
Una vía clara para tomar una decisión ofrece a los responsables una visión completa de dónde se está utilizando la IA. Además, facilita mucho demostrar a un inspector que tu supervisión es deliberada.
Valida la herramienta y, a continuación, valida su uso
La validación de una herramienta de IA consta de dos partes. En primer lugar, hay que validar la propia herramienta, lo que incluye la gobernanza, las pruebas y los controles. En segundo lugar, hay que definir el alcance del caso de uso específico y establecer límites en torno a él. Una herramienta validada que se utilice fuera de su contexto definido sigue suponiendo un riesgo, y un nuevo caso de uso implica revisar el proceso.
Para compañías farmacéuticas, esto significa que las expectativas de supervisión para los proveedores de IA son más amplias que las de la validación tradicional de software. Para Clinicas, significa tener claro qué está autorizado a hacer una herramienta y qué no. En ambos casos, la validación ya no es algo que se haga una sola vez. Los casos de uso cambian y la tecnología evoluciona rápidamente, por lo que la documentación debe actualizarse periódicamente.
La opinión del inspector sobre los modelos dinámicos
La norma ICH E6(R3) se basa en el riesgo y es tecnológicamente neutra, pero su aplicación a la IA genera una tensión real. La validación completa tradicional parte de la base de que el sistema no cambia, mientras que un modelo que aprende continuamente puede desviarse con el tiempo. Ante esta discrepancia, los sistemas de gestión de la calidad y el criterio profesional deben asumir esa función.
Los inspectores también comprobarán que la trazabilidad vaya más allá del registro de auditoría habitual. Cada resultado generado por la IA debería poder vincularse a:
- la versión validada del modelo
- el conjunto de datos utilizado para el entrenamiento
- el entorno en el que se impartió la formación
La validación por sí sola no es suficiente. Sin medidas de protección y sin una estrategia de seguimiento activa, un paquete de validación queda incompleto.
El enfoque «Human in the loop» parece el más sólido sobre el papel, pero es el primero en fallar en la práctica
De todos los controles analizados, la revisión humana era el que más probabilidades tenía de quedar bien en un procedimiento operativo estándar (SOP) y de fracasar en la práctica. Si los revisores ven la misma información una y otra vez, es fácil que la «revisión» se convierta en una «aceptación». Para que el control siga siendo significativo:
- Considera las tasas de aceptación muy elevadas como una señal de alerta. Si los revisores aceptan aproximadamente el 99 % de los resultados generados por la IA, investiga por qué.
- Diseña para llamar la atención. Mostrar la justificación junto con el resultado reduce la aceptación ciega.
- Supervisa el propio proceso de control. Realiza un seguimiento de la tasa de cumplimiento y del tiempo que tardan los revisores en tomar una decisión.
- Conserva las pruebas. La revisión humana debe quedar demostrada en el expediente del juicio, y no reconstruirse posteriormente a partir de recuerdos y correos electrónicos.
Esto nos lleva a una cuestión más amplia: la descarga cognitiva. La IA libera a las personas del trabajo repetitivo, lo que hace que el criterio que los seres humanos siguen aplicando sea más importante, y no menos.
Si pudieras implantar solo una medida de control
Cuando se les pidió que nombraran el único control imprescindible antes de utilizar la IA en procesos regulados por GCP, las respuestas fueron diferentes, pero complementarias:
- Un caso de uso bien definido. Diseñar para resolver un problema, en lugar de buscar un lugar donde aplicar la IA.
- Responsabilidad. No se puede delegar en la tecnología. Las personas deben comprender y justificar las decisiones que toman.
- Calidad de los datos y responsabilidad claramente definida. Combínalas con una matriz de control y rendición de cuentas, así como con el cumplimiento del RGPD y de los requisitos regionales en materia de protección de datos.
Conclusiones para el lunes por la mañana
- Replantea el debate en torno a la confianza en tus datos, tus modelos y los resultados que esperas que te proporcione la IA.
- Averigua dónde se está utilizando ya la IA. Pregunta qué hace, cómo se manifestaría un fallo y si están claras las responsabilidades de supervisión y propiedad.
- Exige una formación en IA específica para cada puesto. El personal debe comprender cómo han cambiado sus funciones, cómo puede desviarse un modelo y qué medidas de supervisión se han establecido.
La transparencia es responsabilidad del proveedor
compañías farmacéuticas y Clinicas toman decisiones basadas en el riesgo sobre la tecnología que utilizan, lo que requiere un acceso rápido a la documentación de validación, los informes técnicos y una descripción clara del desarrollo de software y la gobernanza de la IA por parte del proveedor. Esto también se aplica a los modelos preentrenados. Un proveedor que no pueda facilitar esta información con rapidez es un motivo de preocupación que conviene tener en cuenta.
Qué hacer a continuación
- Realiza una auditoría del uso actual de la IA en toda tu organización. Identifica dónde se utiliza la IA, qué mecanismos de supervisión existen, quién es responsable de los resultados y si se documentan pruebas de que se ha llevado a cabo una revisión humana.
- Revisar si el proveedor dispone de la documentación necesaria sobre IA. Confirmar que existen paquetes de validación, informes técnicos y materiales sobre la gobernanza de la IA, y que pueden facilitarse sin demora cuando se soliciten.
En CRIO, creemos que la transparencia abre puertas. Nuestro Centro de Documentación ofrece a los clientes acceso a documentación de validación, materiales de cumplimiento normativo y resúmenes de autorizaciones, para que puedas tomar decisiones con confianza y basadas en el riesgo. Para obtener más información, ponte en contacto con tu gestor de éxito del cliente o visita clinicalresearch.io.