Supervisão humana que revisa tudo não supervisiona nada

O carimbo não é revisão

O desenho mais comum de supervisão humana é também o mais simples: o agente propõe, uma pessoa aprova, o sistema executa. Ele funciona enquanto o volume é pequeno e o revisor tem tempo para ler cada proposta.

Com escala, a conta muda. Cada agente novo acrescenta itens à mesma fila, atendida pelas mesmas pessoas. O tempo por item cai, a leitura vira passada de olho e a aprovação passa a ser o caminho de menor atrito. A fila não fica menor, fica mais rasa.

As empresas já se dividem entre os dois extremos. Um levantamento da McKinsey publicado em março de 2025 mostra que 27% das organizações que usam IA generativa revisam todo o conteúdo gerado antes do uso. Uma parcela semelhante revisa 20% ou menos.

Nenhum dos dois extremos é um desenho. Revisar tudo consome a capacidade do time e produz aprovação sem leitura. Revisar quase nada deixa o risco sem dono. Os dois casos têm a mesma causa: a regra de revisão foi decidida por hábito, não por critério.

O viés de automação não poupa o especialista

O problema não é só volume. Quando o revisor recebe a resposta pronta do sistema, ele tende a concordar com ela. A literatura chama isso de viés de automação: a propensão a favorecer a sugestão de um sistema automatizado, mesmo quando ela está errada.

Um estudo publicado na revista Radiology em 2023 mediu esse efeito com 27 radiologistas lendo 50 mamografias com apoio de um suposto sistema de IA. Quando a sugestão estava errada, o acerto dos radiologistas inexperientes caiu de 79,7% para 19,8%. Nos moderadamente experientes, caiu de 81,3% para 24,8%. Nos muito experientes, caiu de 82,3% para 45,5%.

A experiência reduziu o efeito, mas não o eliminou. Profissionais treinados, em uma tarefa que conhecem, seguiram a máquina na maior parte dos casos em que ela errou.

A consequência para quem opera agentes é direta. Uma etapa de revisão que mostra a proposta do agente e pede um clique mede concordância, não qualidade. Ela produz registro de aprovação, mas não produz a garantia que o registro sugere.

A regra pede supervisão proporcional, não revisão total

O Artigo 14 do AI Act europeu, que trata da supervisão humana de sistemas de alto risco, não exige que uma pessoa aprove cada saída do sistema. Ele exige que a supervisão seja efetiva e que as medidas sejam proporcionais aos riscos, ao nível de autonomia e ao contexto de uso.

O mesmo artigo nomeia o viés de automação. Quem supervisiona precisa estar ciente da tendência de confiar automaticamente, ou em excesso, na saída do sistema. Também precisa ter condições de desconsiderar, substituir ou reverter o resultado, e de interromper o sistema por um botão de parada ou procedimento equivalente.

A leitura operacional é clara. A regra cobra capacidade real de intervenção, não volume de aprovações. Uma fila com milhares de cliques e nenhuma rejeição dificilmente comprova supervisão efetiva. O lado do incidente, com prazo de notificação e desligamento, já foi tratado em resposta a incidentes com agentes de IA. Aqui o ponto é anterior: como a revisão é desenhada no dia a dia.

Cinco mecanismos para desenhar a revisão por risco

Desenhar a revisão começa por classificar o que o agente faz. Duas perguntas bastam para a primeira versão: qual o impacto se a ação estiver errada, e se ela pode ser desfeita depois. A combinação define quanto de atenção humana cada tipo de ação recebe.

• Limiar por valor e impacto: ações acima de um valor financeiro, com cliente externo ou sobre dado regulado passam por aprovação prévia. O restante segue sem espera.
• Amostragem: nas ações de baixo risco e reversíveis, o revisor examina uma amostra definida por período, com atenção real, em vez de aprovar tudo às pressas.
• Exceção roteada: o agente encaminha para uma pessoa quando a confiança é baixa, quando a política não cobre o caso ou quando o pedido foge do padrão. O revisor recebe o caso difícil, não a fila inteira.
• Revisão por lote: itens semelhantes são revisados juntos. O revisor enxerga o padrão e percebe o erro sistemático que passaria despercebido item a item.
• Evidência antes da resposta: nos casos críticos, o revisor vê os dados de entrada e forma o próprio julgamento antes de ver a proposta do agente. Isso reduz o efeito de ancoragem medido no estudo de mamografia.

A permissão de cada agente define o teto desse desenho. O agente que não tem acesso de escrita a um sistema não precisa de aprovação para escrever nele, tema tratado em identidade de agentes de IA.

Automatizar parte da aprovação também exige verificação. A própria Anthropic informa que o classificador do Claude Code bloqueia por engano 0,4% das chamadas legítimas e deixa passar 17% das ações excessivas reais em seus testes. O filtro automático reduz a fila, mas a amostragem humana continua necessária sobre o que ele aprovou.

As métricas que mostram se a revisão está viva

A revisão humana é um processo e, como todo processo, precisa de indicador. Sem medição, a empresa não sabe se a etapa protege a operação ou apenas atrasa a entrega.

• Taxa de aprovação sem alteração: próxima de 100% indica que o agente está pronto para menos revisão naquele tipo de ação, ou que o revisor não está lendo. As duas hipóteses pedem decisão.
• Tempo de fila: quanto tempo a ação espera por aprovação. Fila longa é sinal de desenho errado, não de falta de pessoas.
• Reversão após aprovação: quantas ações aprovadas precisaram ser desfeitas depois. É a medida mais honesta da qualidade da revisão.
• Taxa de detecção de erros plantados: casos com erro conhecido são inseridos na fila de propósito. Se o revisor não os encontra, a etapa não está funcionando.

Essas métricas conversam com a avaliação do próprio agente, tratada em avaliação de agentes em produção. Toda correção feita pelo revisor vira caso de teste. Com o tempo, o limiar de revisão pode subir com base em evidência, não em impressão.

A NN desenha essa camada junto com o agente. Classifica as ações por impacto e reversibilidade com a área de negócio, define limiar, amostragem e roteamento de exceções, e instrumenta as métricas desde a primeira entrega. É a mesma disciplina que separa piloto de operação, descrita em o abismo entre o piloto e a produção.

Supervisão humana que revisa tudo não supervisiona nada. O desenho da revisão é decisão de processo: onde a pessoa olha, quanto tempo ela tem e como a empresa sabe que o olhar funcionou.