Segurança de IA começa na observabilidade: ver antes de bloquear

Observabilidade e segurança de IA são a mesma frente, porque guardrail, privilégio mínimo e validação de saída só se calibram sobre registro anterior. Instrumentar span de LLM, trajetória de agente e desfecho de bloqueio expõe prompt injection, vazamento de dado pessoal, agência excessiva e drift. No Brasil, a trilha de auditoria já tem prazo.

Um chamado às onze da noite, o dashboard verde e a aplicação de inteligência artificial respondendo errado, sem erro técnico. Alguém digita no chat: temos log disso? A resposta a essa pergunta decide se o incidente vira diagnóstico ou vira reunião.

Observabilidade e segurança de IA é a disciplina que instrumenta aplicações de inteligência artificial para emitir telemetria própria, cobrindo prompt, resposta, modelo, tokens, custo, latência, ferramentas acionadas e desfecho de guardrail. A ordem entre as duas metades importa: guardrail que bloqueia sem telemetria decide no escuro, e o que ele deixa passar não aparece em lugar nenhum.

O que é observabilidade e segurança de IA, e por que são a mesma frente

Observabilidade e segurança de IA é a extensão da observabilidade full-stack, que reúne aplicações, infraestrutura, cloud e experiência digital no mesmo contexto correlacionado, até a camada de IA, com os mesmos quatro sinais aplicados a um componente probabilístico: métricas, logs, traces e eventos. Do lado da segurança entram quatro controles: guardrail, privilégio mínimo, validação de saída e teste adversarial. Todos são atos de bloqueio, e nenhum se calibra sem registro anterior.

O mecanismo central é a instrumentação da camada de IA como parte do rastreamento distribuído, de modo que cada chamada a um modelo vira um span dentro do trace da transação que a originou. A restrição nasce junto: prompt e resposta podem conter dado pessoal, e mascaramento e retenção entram no desenho desde o início.

O que não é: três confusões que custam caro

A primeira confusão é tomar isto por IA aplicada à observabilidade. Analisar telemetria de TI com inteligência artificial é o campo do Artificial Intelligence for IT Operations, ou AIOps, e o vetor é oposto: aqui a IA é o objeto observado, e não o observador.

A segunda é confundir com monitoramento de infraestrutura da carga de IA. Saber que a GPU está a 80% e que o contêiner está de pé não diz nada sobre a decisão que o modelo tomou. A terceira é tratar guardrail como se fosse observabilidade: guardrail é controle, observabilidade é evidência, e trocar um pelo outro produz bloqueio calibrado no escuro.

Por que um componente probabilístico quebra o monitoramento tradicional

O monitoramento tradicional nasceu da premissa de que o mesmo insumo produz a mesma saída, e em Application Performance Monitoring, ou APM, a premissa se sustenta. Um Large Language Model, ou LLM, é probabilístico, e o mesmo prompt pode gerar respostas diferentes.

Uma aplicação de IA pode operar sem falha técnica e sem estouro de latência, e ainda assim tomar a decisão errada. Métricas são o painel do carro, e alucinação e resposta tóxica moram exatamente onde nenhum mostrador aponta. Sem linha de base, a avaliação vira checagem por impressão.

Para o Site Reliability Engineer, ou SRE, em plantão, isso explica a cena em que tudo está verde e o chamado continua chegando. Para o CIO, o CTO e o CEO, explica por que a resposta ao conselho de administração acaba baseada em impressão.

Não se bloqueia o que não se vê: o problema do guardrail cego

Guardrails são controles de tempo de execução que mantêm aplicações de IA e agênticas seguras, em conformidade e previsíveis: sanitizam entrada, validam saída e bloqueiam conteúdo fora da política. Guardrails decidem, e toda decisão precisa de base.

A OWASP lista sete mitigações para LLM01:2025, a prompt injection, primeira colocada do OWASP Top 10 for LLM Applications pela segunda edição consecutiva. Cinco delas pressupõem registro anterior ao bloqueio. Filtrar entrada e saída exige saber o que entrou e o que saiu, validar formato exige a saída registrada e segregar conteúdo externo exige rastro da origem. Privilégio mínimo se define sobre uso real, e teste adversarial se calibra contra comportamento observado.

Falso positivo e falso negativo têm o mesmo pai

O bloqueio que não é registrado não ensina nada, e a regra que bloqueia demais fica indistinguível da que bloqueia de menos. Guardrail mal calibrado sofre de hipersensibilidade: bloqueia conteúdo inofensivo, o usuário contorna o controle e a proteção vira teatro.

Instrumentar o desfecho do guardrail transforma calibração em medição, com quatro campos: bloqueio, categoria, motivo e ação tomada. Deles nasce a taxa de bloqueio por categoria, acompanhada contra a linha de base.

Shadow AI: o que está fora do inventário

Shadow AI é o uso de ferramenta de inteligência artificial sem autorização, monitoramento nem registro. Segundo a IBM, no relatório Cost of a Data Breach 2025, 87% das organizações no Brasil não possuem política de governança de IA e 61% não possuem controles de acesso à IA. Uma em cada cinco violações envolve shadow AI, com custo adicional médio de R$ 591.400 no Brasil.

O funcionário que usa IA fora do inventário busca eficiência, não dano. Proibir sem inventariar não reduz o uso, apenas o empurra para fora do campo de visão. O primeiro passo é enxergar: dependência de saída e chamada a rota de modelo aparecem na telemetria antes de aparecerem em qualquer questionário.

O que precisa ser instrumentado numa aplicação de IA

O span de LLM e a trajetória do agente

Instrumentação são as câmeras instaladas na fábrica. O trace é o GPS de uma viagem, mostrando cada parada do trajeto, e a chamada de IA é uma dessas paradas. O span de LLM carrega entrada, saída, modelo pedido, modelo que respondeu, tokens de entrada e de saída, custo e duração.

Em agentes de IA, o trace vira a trajetória completa: passos, chamadas de ferramenta e resultados intermediários. É nesse ponto que a recuperação de contexto por Retrieval Augmented Generation, ou RAG, aparece, e com ela a superfície da injeção indireta. Sem o passo de recuperação instrumentado, ninguém descobre qual documento envenenou a resposta.

Quando falha a propagação de contexto, o carimbo no passaporte, aparece o span órfão, e a cadeia se rompe justamente no ponto que a auditoria vai perguntar.

As convenções semânticas GenAI do OpenTelemetry

OpenTelemetry é o padrão USB-C da telemetria: padrão aberto e vendor-neutral da CNCF que define APIs, SDKs, convenções semânticas e protocolo de transporte. As convenções semânticas GenAI padronizam os atributos capturados para operações de IA generativa, e oito deles sustentam as perguntas de operação e de custo.

• gen_ai.operation.name: a operação executada.
• gen_ai.provider.name: o provedor de IA generativa.
• gen_ai.request.model e gen_ai.response.model: o modelo pedido e o que respondeu.
• gen_ai.usage.input_tokens e gen_ai.usage.output_tokens: tokens de entrada e de saída.
• gen_ai.conversation.id: o identificador da conversa, sessão ou thread.
• gen_ai.tool.name: a ferramenta acionada pelo agente.

As convenções GenAI seguem em evolução, sem status de estabilidade afirmado aqui. Sem convenção compartilhada, cada aplicação nomeia o atributo do seu jeito, e a frase que o time repete é que o dado não agrupa. A decisão prudente é isolar a camada de atributos, para que uma renomeação futura seja alteração de configuração e não de código.

Como o dado chega: OTLP, Collector e o lugar do mascaramento

O OTLP é o envelope dos correios. gRPC na porta 4317 é mais eficiente em volume, com formato binário, e HTTP com protobuf na porta 4318 é mais simples de atravessar firewall. A plataforma Dynatrace aceita as duas.

O Collector recebe, processa, filtra e reenvia telemetria, aplicando regras de transformação no caminho. É nele que o mascaramento de dado pessoal acontece, antes do envio, em vez de depois do armazenamento. A frase de que não se guarda nada por causa da LGPD descreve uma decisão tomada por prudência jurídica, sem o desenho de mascaramento que a tornaria dispensável.

Os riscos de segurança que só aparecem na telemetria

Quatro riscos de aplicação de IA passam intactos pelo monitoramento clássico, sob a taxonomia do OWASP Top 10 for LLM Applications 2025 e a base adversarial do MITRE ATLAS.

Na prompt injection direta, o usuário escreve a instrução. Na indireta, o modelo aceita entrada de site ou arquivo, e o vetor entra pela recuperação. O prompt é tratamento de dado, e o avaliador que identifica padrão de dado pessoal no span também identifica prompt injection, resposta tóxica e alucinação.

Arquitetura de coleta: OneAgent, OpenTelemetry ou modelo híbrido

Três abordagens resolvem partes diferentes do problema, sobre a base das cinco capacidades essenciais de uma plataforma de observabilidade: APM, monitoramento de infraestrutura e cloud, Digital Experience Monitoring, ou DEM, AIOps, e compliance e governança de performance.

O modelo híbrido é o padrão adotado pela Rike IS na maior parte dos projetos em sistemas críticos, e o critério de divisão é o inventário de cargas, não a preferência da equipe.

Governança de atributos, cardinality e sampling

Três decisões definem se a coleta será útil ou cara. A primeira é a governança de atributos, com service.name padronizado em vez de app.name improvisado, sob pena de a mesma aplicação aparecer com dois nomes e nenhum dashboard agrupar.

A segunda é a cardinality, porque identificador único por requisição usado como dimensão de métrica produz cardinality explosion. A terceira é o sampling, a pesquisa eleitoral, e em sistemas críticos o sampling tail-based é geralmente preferido, porque preserva os eventos que precisam de análise.

Para o gerente de infraestrutura, as três respondem à objeção de custo. A regra prática é definir o conjunto mínimo de atributos por operação antes de ligar a coleta, e filtrar no Collector, não no armazenamento.

Da evidência à causa raiz

Davis, dentro do Dynatrace Intelligence, é responsável pela análise causal da plataforma Dynatrace, e a IA causal atua na identificação da causa e do contexto do problema, enquanto os dashboards organizam e tornam exploráveis os sinais operacionais. Num incidente de IA, a análise separa quatro hipóteses: o modelo, a base de conhecimento recuperada, a latência do provedor ou uma mudança de prompt de sistema.

Grail retém logs, métricas, traces e eventos em volume massivo, com períodos de retenção que variam conforme o tipo de dado e a configuração adotada, com consulta rápida sobre todo o histórico, o que sustenta a trilha de auditoria. Sobre ele, o Dynatrace Query Language, ou DQL, responde qual serviço concentra o custo de token. Para o SRE em plantão, o Smartscape é o atalho que mostra o caminho do impacto, inclusive o trecho que passa pelo modelo.

O que a regulação já exige de registro e rastreabilidade

O debate público brasileiro está preso ao PL 2338/2023, o Marco Legal da IA, aprovado pelo Senado Federal em dezembro de 2024 e em tramitação na Câmara dos Deputados. O PL 2338/2023 não é lei, e enquanto ele tramita, normas que já valem exigem o registro que falta.

As Resoluções CMN nº 5.274/2025 e BCB nº 538/2025 são de 18 de dezembro de 2025, com prazo de adequação em 1º de março de 2026. Três exigências importam aqui: trilhas de auditoria ponta a ponta, retenção adequada de logs conforme o tipo de operação e armazenamento seguro com garantia de integridade.

Uma ressalva de precisão importa. As duas resoluções não tratam de inteligência artificial em específico, e o argumento correto é o de ausência de exceção: se a decisão passou por um modelo, a trilha precisa alcançá-la. Um trecho não observável no meio da jornada é um buraco na trilha, e não uma exceção tolerada. Para a área de compliance, é a transição de um modelo declaratório para um modelo baseado em evidência.

A Lei Geral de Proteção de Dados, ou LGPD, alcança o tema por outro caminho. O dado enviado a uma ferramenta de IA foi tratado, e a responsabilidade pelo tratamento inadequado recai sobre a organização, autorizado ou não o uso. Isso transforma shadow AI de problema de disciplina em problema de responsabilidade do controlador.

Fora do Brasil, o EU AI Act aplica regras a modelos de propósito geral, os GPAI, desde 2 de agosto de 2025. Sistemas de alto risco entram a partir de 2 de agosto de 2026, inclusive para fornecedor de fora da União Europeia cujo sistema produza efeitos naquele mercado.

Cinco frameworks convergem para a mesma exigência: OWASP Top 10 for LLM Applications 2025, NIST AI RMF, MITRE ATLAS, AI TRiSM do Gartner e ISO/IEC 42001. Medir e inspecionar em tempo de execução são funções que nenhum framework exerce sobre um sistema que não emite sinal.

Um roteiro de implantação em ondas

Seis ondas ordenam a implantação, e a ordem pesa mais do que a velocidade de cada uma.

1. Inventário de IA. Mapear onde há IA em produção, inclusive a que ninguém cadastrou.
2. Instrumentação mínima. Span de LLM correlacionado à transação, com o conjunto mínimo de atributos.
3. Governança do dado. Atributos padronizados, mascaramento no Collector e retenção por tipo de operação.
4. Linha de base. Semanas de histórico para saber o que é normal antes de definir o que é anomalia.
5. Controle. Guardrail calibrado contra a linha de base, com desfecho instrumentado e taxa de bloqueio como série temporal.
6. Governança contínua. Revisão periódica, porque modelo, prompt de sistema e base de conhecimento mudam sem que uma linha de código mude.

O modelo em ondas entrega valor em poucas semanas e expande cobertura nos meses seguintes, sem prometer visibilidade total. Para o profissional DevOps, a terceira onda é a que muda a rotina, porque a validação de atributo passa a rodar na esteira de entrega contínua, junto dos testes automatizados.

Quando o problema exige experiência de campo

Ligar a coleta é a parte fácil. O que separa uma implantação que sustenta de uma que vira custo é o desenho: quais atributos coletar, como nomear antes que existam mil dashboards, onde mascarar e quanto reter. A dificuldade não está na ferramenta, está nas escolhas de difícil reversão das primeiras semanas, enquanto o ambiente muda.

Perguntas frequentes sobre observabilidade e segurança de IA

Guardrail resolve a segurança de IA sozinho?

Não. Guardrail é o controle que bloqueia, e sem registro anterior ele decide sem base, o que produz falso positivo e falso negativo indistinguíveis entre si. Instrumentar o desfecho do bloqueio, com categoria, motivo e ação, é o que transforma a calibração em medição e permite acompanhar a taxa de bloqueio contra a linha de base.

O que é shadow AI e como detectar?

É o uso de ferramenta de inteligência artificial sem autorização, monitoramento nem registro. A detecção começa pela telemetria que já existe, com dependência de saída e chamada a rota de modelo aparecendo antes de qualquer questionário interno. Proibir sem inventariar não reduz o uso, apenas o empurra para fora do campo de visão.

Como registrar prompt e resposta sem violar a LGPD?

Por mascaramento no Collector, antes do envio, com atributo estruturado por padrão e conteúdo integral apenas por amostra, sob política declarada e acesso restrito. A decisão de não guardar nada costuma ser prudência jurídica na ausência de desenho de mascaramento, e cobra o preço na primeira investigação.

A regulação brasileira já exige observabilidade de aplicações de IA?

Não de forma nominal. O PL 2338/2023 não é lei, e as Resoluções CMN nº 5.274/2025 e BCB nº 538/2025 não tratam de inteligência artificial em específico. O que elas exigem é trilha de auditoria ponta a ponta, e o argumento é o de ausência de exceção: se a decisão passou por um modelo, a trilha precisa alcançá-la.

Por onde começar quando ninguém sabe onde há IA em produção?

Pelo inventário, que é a primeira onda justamente por isso. Instrumentar antes de saber o que existe produz cobertura parcial com falsa sensação de completude. O inventário se apoia na telemetria já coletada, e não em levantamento declaratório, porque o uso não cadastrado não aparece em formulário.

Quais atributos coletar, como nomear, onde mascarar e quanto reter são escolhas de difícil reversão, tomadas nas primeiras semanas e cobradas meses depois. A Rike IS atua nesse ponto, com consultoria, implantação, treinamento e governança contínua em observabilidade sobre a plataforma Dynatrace, em sistemas críticos de alta complexidade, do diagnóstico inicial à operação contínua, junto a órgãos públicos, instituições financeiras, cooperativas e empresas privadas de grande porte.

Este conteúdo tem finalidade informativa e técnica. As referências regulatórias são contextuais e não constituem orientação jurídica.