Por Dave Russell, Vice-Presidente Sênior e Chefe de Estratégia da Veeam Software.
A governança de IA costuma ser tratada como uma questão de políticas internas. As organizações precisam de regras sobre como a IA pode ser usada, quem pode aprová-la e a quais dados ela pode ter acesso. Essas políticas são importantes, mas só funcionam quando a organização tem visibilidade sobre onde seus sistemas de IA estão implementados.
Alcançar essa visibilidade está se tornando mais difícil à medida que a IA deixa de apenas gerar recomendações e passa a executar ações autônomas nos sistemas corporativos. Os agentes de IA já acessam dados e tomam decisões com pouca intervenção humana. Uma pessoa pode aprovar a implementação de um agente, mas isso não significa que ela consiga ver tudo o que ele faz depois de entrar em produção.
Pesquisas recentes mostram que, embora 88% das organizações já estejam usando ou testando agentes de IA, apenas 28% confiam que conseguem detectar quando esses sistemas operam fora dos parâmetros aprovados. A lacuna entre o que as organizações acreditam ter sob controle e o que de fato conseguem ver fica evidente.
A IA está mudando o estado de produção
Softwares corporativos já usam IA há anos, mas as empresas ainda não haviam experimentado a escala e a velocidade com que a IA pode alterar o estado de um ambiente de produção. Uma ação aparentemente razoável em um sistema pode alterar registros ou permissões em outro, e, quando um humano percebe que algo está errado, a ação original já pode ter se propagado. Isso muda o que as organizações precisam de um modelo de governança. A aprovação humana no início de um processo não basta se a organização não conseguir reconstruir depois o que aconteceu.
Esse mesmo problema de visibilidade já apareceu antes. Quando os serviços em nuvem e o software como serviço (SaaS) se tornaram comuns, as equipes de infraestrutura muitas vezes descobriam aplicativos e máquinas virtuais apenas depois que já estavam em produção. A IA cria um desafio de descoberta semelhante, com uma diferença importante. Ela interage ativamente com outras cargas de trabalho e com dados em uma velocidade que os humanos não conseguem acompanhar sozinhos.
A governança começa por saber o que a IA pode tocar
Depois de saber onde a IA está operando, a próxima pergunta é o que esses sistemas podem acessar e alterar. Um agente só opera dentro das permissões, dos dados e dos sistemas disponíveis para ele. Entender essas relações, portanto, é fundamental. As organizações precisam saber em quais dados um agente se baseia, se esses dados são apropriados para a tarefa, quais permissões ele tem e quem responde por seus resultados.
A conclusão não é que as organizações devam simplesmente bloquear a IA. Esse é um objetivo inatingível. Os funcionários continuarão encontrando maneiras de usar ferramentas que facilitem seu trabalho, aprovadas pela empresa ou não. O objetivo mais prático é tornar a IA visível o suficiente para ser compreendida e governada, e segura o suficiente para que os funcionários a usem.
Isso exige submeter a IA às mesmas disciplinas que há muito tempo se aplicam aos softwares de produção. Novos aplicativos são testados antes da implementação. O acesso é revisado. As mudanças são rastreadas. As dependências são documentadas. Sistemas críticos têm procedimentos de contingência.
A IA deve ser tratada com a mesma disciplina operacional, levando em conta que os agentes podem agir por conta própria.
Os testes também precisam considerar os dados que um agente encontrará na produção. As organizações devem conseguir validar modelos e agentes com conjuntos de dados apropriados antes de permitir que façam alterações em ambientes ativos. Dados confiáveis são, portanto, parte do sistema de controle que cerca a IA.
A clareza sobre quem é dono de cada sistema também importa. A governança se torna difícil quando a responsabilidade pela IA é distribuída de forma tão ampla que ninguém consegue responder por um sistema ou por um resultado específico.
Quando algo dá errado, a visibilidade precisa levar à recuperação
Nenhum modelo de governança evitará todos os erros de IA. O objetivo mais útil é mapear com clareza o que acontece quando um erro ocorre. É aqui que a IA muda a definição tradicional de resiliência. Historicamente, recuperação significava restaurar um sistema ou um ambiente após uma queda, um ataque cibernético ou outro incidente. Mas um incidente provocado por IA pode não produzir esse mesmo tipo de indisponibilidade. O sistema pode permanecer online e disponível enquanto um agente altera milhares de arquivos, modifica registros ou toma decisões que criam problemas mais adiante.
Restaurar tudo pode ser desnecessário, mas não restaurar nada pode ser inaceitável. As organizações precisam, portanto, conseguir entender o escopo de um incidente gerado pela IA e recuperar apenas o que foi afetado. Isso exige uma cadeia de evidências que conecte o agente, suas ações, os dados que ele tocou e as mudanças resultantes.
Sem esse contexto, a recuperação vira um trabalho de adivinhação.
É também por isso que a prontidão para a IA deve incluir um plano para o caso de falhas antes que um agente chegue à produção. O que acontece se um agente começar a se comportar de forma inesperada? Quem pode desativá-lo? Existe um processo manual se ele ficar indisponível? Suas ações podem ser rastreadas? A organização consegue reverter as mudanças sem reverter um ambiente inteiro?
Essas perguntas podem soar como práticas operacionais tradicionais, mas se tornam mais importantes à medida que a IA assume mais responsabilidades. O objetivo é tornar a falha observável, contida e recuperável.
A prontidão para a IA é, em última análise, um problema de visibilidade
As organizações que mais se beneficiarão da IA não serão necessariamente aquelas que implementam mais agentes ou os colocam em produção primeiro. Serão aquelas que entenderem o que esses sistemas fazem depois que entram em produção.
Isso começa com a visibilidade. As organizações precisam de um inventário preciso de seus sistemas de IA, de uma compreensão dos dados e das permissões conectados a eles, de responsabilidade clara por suas ações e de uma maneira de rastrear as alterações quando algo der errado.
A governança é o processo de colocar essas capacidades em prática, mas sem visibilidade ela é, em grande parte, um exercício de suposição. Escrever uma política sobre o que um agente de IA tem permissão para fazer é a parte fácil. Provar o que ele fez e desfazer isso quando necessário é o que a prontidão para a IA realmente exige.
