Por Brook White
A IA está presente em todas as conferências do setor, mas a maioria das sessões centra-se no que a tecnologia é capaz de fazer. Na SCOPE Europe, o nosso vice-presidente de Conformidade e Segurança, Marc Wartenberger, moderou um painel que colocou uma questão mais complexa: o que é necessário para utilizar a IA em atividades reguladas pelo GCP e, ainda assim, defendê-la numa inspeção?
O painel reuniu um patrocinador, uma CRO e um organismo regulador. Apesar dos seus diferentes pontos de vista, os mesmos temas foram surgindo repetidamente. A maioria das organizações encontra-se algures entre a fase piloto e a expansão, e o trabalho atual consiste em concretizar a utilização responsável. Eis o que os patrocinadores e os centros de ensaio devem reter.
Não precisas de recomeçar do zero
O equívoco mais comum é pensar que a IA implica a eliminação dos processos existentes. Os ciclos de vida estabelecidos do GCP são sólidos. O que muda é a introdução de verificações que antes não existiam, tais como a monitorização de preconceitos e desvios. Comece com o que tem e adapte-o.
A governação começa pela visibilidade
Não se pode gerir o que não se vê. As organizações que gerem bem a IA tendem a encaminhar novos casos de utilização através de um único ponto de receção central, em vez de deixarem que a adoção ocorra equipa a equipa. Um grupo multifuncional pode então colocar as perguntas certas:
- Que problema empresarial é que isto resolve?
- Existem soluções mais simples ou já existentes?
- A IA proposta já dispõe de um contexto de utilização aprovado?
Um percurso claro para a tomada de decisões proporciona à liderança uma visão completa de onde a IA está a ser utilizada. Além disso, torna muito mais fácil demonstrar a um inspetor que a sua supervisão é deliberada.
Validar a ferramenta e, em seguida, validar a sua utilização
A validação de uma ferramenta de IA tem duas partes. Em primeiro lugar, validar a própria ferramenta, incluindo a governação, os testes e as verificações. Em segundo lugar, definir o âmbito do caso de utilização específico e estabelecer limites em torno do mesmo. Uma ferramenta validada utilizada fora do contexto definido continua a representar um risco, e um novo caso de utilização implica rever o processo.
Para os patrocinadores, isto significa que as expectativas em matéria de supervisão dos fornecedores de IA são mais abrangentes do que as da validação tradicional de software. Para os centros de ensaio, significa ter clareza sobre o que uma ferramenta está autorizada a fazer e o que não está. Em ambos os casos, a validação já não é um processo único. Os casos de utilização mudam e a tecnologia evolui rapidamente, pelo que a documentação necessita de ser atualizada regularmente.
A opinião do inspetor sobre os modelos dinâmicos
A norma ICH E6(R3) baseia-se na avaliação de riscos e é tecnologicamente neutra, mas a sua aplicação à IA gera uma verdadeira tensão. A validação completa tradicional pressupõe um sistema que não sofre alterações, enquanto um modelo em aprendizagem contínua pode sofrer desvios ao longo do tempo. Nessa lacuna, os sistemas de gestão da qualidade e o discernimento profissional têm de assumir essa função.
Os inspetores irão também verificar se a rastreabilidade vai além do habitual registo de auditoria. Cada resultado da IA deve poder ser associado a:
- a versão validada do modelo
- o conjunto de dados utilizado para o treino
- o ambiente em que a formação decorreu
A validação, por si só, não é suficiente. Sem medidas de proteção e uma estratégia de monitorização ativa, um pacote de validação fica incompleto.
O conceito «Human in the loop» parece ser o mais sólido no papel, mas é o primeiro a falhar na prática
De todos os controlos abordados, a revisão humana foi aquele que mais se destacou por parecer eficaz num Procedimento Operacional Padrão (POP) e por falhar na prática. Se os revisores virem repetidamente a mesma informação, é fácil que a «revisão» se transforme em «aprovação». Para que o controlo continue a ser significativo:
- Considere as taxas de aceitação muito elevadas como um sinal de alerta. Se os revisores aceitarem cerca de 99% dos resultados gerados pela IA, procure descobrir porquê.
- Conceba o design de forma a chamar a atenção. Apresentar a justificação juntamente com o resultado reduz a aceitação cega.
- Acompanhe o próprio processo de controlo. Acompanhe a taxa de conformidade e o tempo que os revisores demoram a tomar uma decisão.
- Guarde as provas. A revisão humana deve estar comprovada no processo judicial, não sendo reconstruída posteriormente com base em memórias e e-mails.
Isto está relacionado com uma preocupação mais ampla: a descarregamento cognitivo. A IA liberta as pessoas do trabalho repetitivo, o que torna o discernimento que os seres humanos ainda exercem mais importante, e não menos.
Se pudesse implementar apenas uma medida de controlo
Quando lhes foi pedido que indicassem o único mecanismo de controlo indispensável antes de utilizar IA em processos regulados pelo GCP, as respostas foram diferentes, mas complementares:
- Um caso de utilização bem definido. Conceber com o objetivo de resolver um problema, em vez de procurar um contexto onde aplicar a IA.
- Responsabilidade. Não pode ser delegada à tecnologia. As pessoas têm de compreender e justificar as decisões que tomam.
- Qualidade dos dados e responsabilidade claramente definida. Combine estes aspetos com uma matriz de controlo e responsabilização, bem como com o cumprimento do RGPD e dos requisitos regionais em matéria de proteção de dados.
Pontos a reter para a manhã de segunda-feira
- Reorienta a conversa em torno da confiança nos teus dados, nos teus modelos e nos resultados que esperas que a IA proporcione.
- Descubra onde a IA já está a ser utilizada. Pergunte o que faz, como se manifestaria uma falha e se a supervisão e a responsabilidade estão bem definidas.
- Exija formação em IA específica para cada função. Os colaboradores devem compreender como as suas funções mudaram, como um modelo pode desviar-se e que medidas de monitorização estão em vigor.
A transparência é da responsabilidade do fornecedor
Os patrocinadores e as entidades tomam decisões baseadas no risco relativamente à tecnologia que utilizam, o que exige acesso imediato à documentação de validação, a documentos técnicos e a uma descrição clara do processo de desenvolvimento de software e da governação da IA por parte do fornecedor. Isto aplica-se também aos modelos pré-treinados. Um fornecedor que não consiga fornecer estas informações rapidamente constitui um motivo de preocupação que deve ser devidamente ponderado.
O que fazer a seguir
- Faça uma auditoria à utilização atual da IA em toda a sua organização. Identifique onde a IA está implementada, que tipo de supervisão existe, quem é responsável pelos resultados e se há registos que comprovem a revisão humana.
- Analisar a disponibilidade da documentação do fornecedor relativa à IA. Confirmar se existem pacotes de validação, documentos técnicos e materiais sobre a governação da IA e se estes podem ser fornecidos prontamente, mediante solicitação.
Na CRIO, acreditamos que a transparência abre portas. O nosso Centro de Documentação proporciona aos clientes acesso a documentação de validação, materiais de conformidade e resumos de lançamento, para que possam tomar decisões seguras e baseadas na avaliação de riscos. Para saber mais, contacte o seu Gestor de Sucesso do Cliente ou visite clinicalresearch.io.