Um estudo da Tech for Humans, consultoria que simplifica a tecnologia por meio de Agentes de IA e Jornadas Digitais, identificou uma fragilidade estrutural na forma como empresas estão implementando inteligência artificial no atendimento ao cliente.

Segundo a pesquisa, misturar instruções de negócio com regras técnicas de segurança pode fazer com que a IA erre em até 57,7% dos casos quando o usuário foge do assunto principal da conversa.

O levantamento analisou dezenas de milhares de execuções experimentais para entender por que assistentes baseados em modelos de linguagem vêm apresentando dois comportamentos extremos: ou deixam passar tentativas sofisticadas de manipulação, ou bloqueiam clientes legítimos por excesso de rigor.

Para Fernando Wolff, CEO da Tech for Humans, o problema não está apenas no modelo utilizado, mas na arquitetura que define como ele toma decisões.

“O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça”.

Quando proteger demais vira prejuízo

De acordo com o estudo, o erro começa quando a camada de segurança, conhecida como Guardrail, passa a atuar também como filtro de escopo comercial.

Em vez de se limitar a bloquear riscos técnicos, como tentativas de manipulação de instruções ou vazamento de dados, ela passa a decidir o que é ou não pertinente ao negócio.

“Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando você delega a ele a lógica de negócio, a chance de erro cresce exponencialmente”.

Na prática, essa sobrecarga torna o modelo mais defensivo e aumenta a incidência de falsos positivos, bloqueios indevidos de usuários legítimos. Em ambientes de atendimento em larga escala, esse tipo de fricção pode impactar diretamente conversão, retenção e percepção de marca.

“O maior dilema das empresas hoje não é apenas evitar ataques. É escalar atendimento sem criar uma IA que bloqueia clientes legítimos por medo de errar. Se o sistema fica conservador demais, ele protege, mas prejudica a experiência. E experiência ruim tem impacto direto na receita”.

A pesquisa também indica que a inclusão excessiva de contexto operacional dentro da camada de segurança pode aumentar o rigor do sistema, mas reduzir sua precisão.

“Quando você adiciona regras comerciais ao filtro técnico, o modelo tende a interpretar ambiguidades como ameaça. Isso eleva bloqueios desnecessários e cria atrito na jornada”.

Como alternativa, o estudo propõe uma separação clara de responsabilidades: a camada de segurança deve atuar exclusivamente na mitigação de riscos técnicos, enquanto o agente principal assume a gestão de escopo, regras de negócio e utilidade da interação.

“Segurança precisa ser binária e técnica. Escopo é decisão semântica. Quando você separa essas duas dimensões, você reduz atrito e aumenta robustez ao mesmo tempo. A grande descoberta do estudo é que proteger melhor não significa bloquear mais. Significa arquitetar melhor”.

Para o mercado de tecnologia, os achados indicam que o debate sobre IA corporativa precisa avançar além da escolha do modelo e considerar com mais profundidade a arquitetura de segurança e governança de decisão.

“O futuro da IA empresarial não depende só de capacidade cognitiva. Depende de como organizamos responsabilidade, contexto e prioridade dentro do sistema”, conclui.