O que é observabilidade de IA: abrir a caixa-preta em produção

Observabilidade de IA opera em três camadas, infraestrutura de inferência, modelo e agente, e acrescenta aos sinais clássicos consumo de token, tempo até o primeiro token, fundamentação da resposta e acionamento de guardrail. Alucinação, drift e falha de guardrail se detectam por avaliação contínua, e o custo se controla por atributo, sampling e retenção.

Um assistente pode passar duas semanas respondendo errado sem que nada acuse. A rota responde, a infraestrutura fica verde e a taxa de erro segue em zero, porque resposta bem escrita e incorreta não é exceção de software. É essa a falha que a observabilidade de IA captura.

Observabilidade de IA é a disciplina de engenharia que torna mensurável, rastreável e explicável o comportamento de sistemas de inteligência artificial em produção. O objetivo prático é responder por que o sistema respondeu o que respondeu, quanto isso custou e se a resposta se sustenta diante de um auditor. O mecanismo é instrumentar a aplicação para emitir telemetria com atributos próprios de IA.

O que é observabilidade de IA

A observabilidade de IA tem um requisito que decide o resultado antes de qualquer dashboard: instrumentação padronizada. Sem convenção comum de nomes de atributo, os dados chegam em volume e não sustentam conclusão.

Instrumentação são as câmeras instaladas na fábrica. A observabilidade de IA não corrige o modelo, revela o comportamento, e a correção vem depois, como decisão de engenharia ou de governança.

Observabilidade de IA não é observabilidade feita por IA. Aqui a inteligência artificial é o objeto observado, e não a ferramenta de análise. Usar inteligência artificial para analisar telemetria de sistemas convencionais é Artificial Intelligence for IT Operations, ou AIOps. Os dois termos se escrevem quase igual em português, e essa é a confusão número um do tema.

Outras três delimitações valem ser fixadas. Observabilidade de IA não é sinônimo de observabilidade de Large Language Model, ou LLM, que é só uma das camadas. Não é avaliação offline, porque benchmark mede capacidade em laboratório. E não é logging de prompt, que sozinho só produz base de texto com dado pessoal dentro.

Para o CIO, o CTO e o CEO, o entregável não é o dashboard, é conseguir explicar um caso ao comitê de riscos. Para o Site Reliability Engineer, ou SRE, em plantão, é ter a evidência antes de o incidente chegar.

Por que o monitoramento tradicional não cobre IA

A observabilidade de IA é uma especialização da observabilidade de sistemas distribuídos, aplicada a componentes cujo comportamento é probabilístico. Ela se assenta sobre a observabilidade full-stack, que reúne aplicações, infraestrutura, cloud e experiência digital no mesmo contexto correlacionado, e mantém os três sinais clássicos. O que muda é o objeto, e o objeto muda cinco dimensões de uma vez.

O não determinismo tem consequência operacional dura. O fluxo de controle é decidido pelo modelo em tempo de execução, e reproduzir o erro deixa de ser método confiável de diagnóstico. A evidência precisa ter sido capturada quando o evento aconteceu.

São 22h e o suporte escala chamados com a mesma frase: o robô respondeu errado. Disponibilidade em 100%, taxa de erro em zero, nenhum alerta disparado, porque nada quebrou. O log traz carimbo de tempo e código de retorno, e não traz qual versão do modelo respondeu.

As três camadas da observabilidade de IA

A observabilidade de IA opera em três camadas: infraestrutura de inferência, modelo e agente de orquestração. A maior parte das equipes instrumenta só a do meio, e por isso um erro nascido três passos antes aparece sem explicação.

• Infraestrutura de inferência. GPU, fila, tráfego e saturação. Responde se o ambiente aguenta a carga e onde o custo de computação vive.
• Modelo. Token de entrada e de saída, versão do modelo, temperatura, motivo de encerramento e tempo até o primeiro token. É aqui, e só aqui, que observabilidade de LLM é sinônimo de observabilidade de IA.
• Agente e orquestração. Decisão de roteamento, chamada de ferramenta, número de passos e consulta a base vetorial. Responde por que o sistema escolheu o caminho.

As três camadas aplicam à IA as cinco capacidades essenciais de uma plataforma de observabilidade: Application Performance Monitoring, ou APM, monitoramento de infraestrutura e cloud, Digital Experience Monitoring, ou DEM, AIOps, e compliance e governança de performance.

Na observabilidade de IA, cada decisão do agente, cada chamada de ferramenta e cada consulta a base vetorial vira um span dentro do mesmo trace. O trace é o GPS de uma viagem, mostrando cada parada do trajeto. Sem isso, a falha em cascata fica invisível: um agente passa contexto ruim adiante, e o sintoma aparece três passos depois, longe da origem.

Para o arquiteto, o Smartscape, representação visual e dinâmica de todas as dependências do ambiente atualizada em tempo real, mostra quem chama quem. Para o SRE, é o atalho até o passo do agente onde o contexto se degradou.

Quais métricas monitorar em uma aplicação de IA

A observabilidade de IA acrescenta à telemetria clássica quatro sinais próprios: consumo de token, tempo até o primeiro token, fundamentação da resposta e acionamento de guardrail. As métricas são o painel do carro, e os logs, o diário de bordo.

O Time To First Token, ou TTFT, importa mais que a latência total em geração por fluxo contínuo, porque o usuário percebe o início da resposta antes do fim dela. O atributo correspondente é gen_ai.response.time_to_first_chunk.

Custo por token é ponto de partida, nunca métrica final. Uma jornada com múltiplos passos de agente consome dezenas de chamadas ao modelo, e o que interessa ao negócio é o custo da jornada inteira. Para o gerente de infraestrutura, é a diferença entre ver a conta subir e atribuir o gasto a um produto.

Como se coleta a telemetria de uma aplicação de IA

A coleta acontece em quatro movimentos: instrumentar, padronizar o atributo, transportar o dado e correlacionar com o resto da stack.

OneAgent é o agente unificado da plataforma Dynatrace, que descobre a stack de um host, contêiner ou ambiente cloud e instrumenta o que encontra, sem configuração manual por componente. OpenTelemetry é o padrão aberto e vendor-neutral da CNCF, o padrão USB-C da telemetria. O transporte usa o OTLP, o envelope dos correios, sobre gRPC na porta 4317 ou sobre HTTP com protobuf na porta 4318.

As convenções semânticas GenAI do OpenTelemetry padronizam atributos como gen_ai.usage.input_tokens, gen_ai.provider.name e gen_ai.response.finish_reasons. Somam-se a esses o gen_ai.operation.name, o gen_ai.request.model, o gen_ai.usage.output_tokens, o gen_ai.tool.call.id, o gen_ai.conversation.id e o gen_ai.evaluation.score.value. Essas convenções foram movidas para repositório dedicado do projeto, e a marcação de descontinuado no registro principal significa mudança de lugar, não abandono.

A escolha entre OneAgent, OpenTelemetry e modelo híbrido depende do que já existe no ambiente. OneAgent cobre a base da stack sem esforço de código, e OpenTelemetry cobre o que é específico de IA, com o Collector filtrando e reenviando a telemetria.

Ambiente legado muda o cálculo. Parte do parque não aceita agente automático, e é na fronteira entre o novo e o antigo que o identificador de trace se perde. O resultado é o span órfão: o trace chega quebrado e o diagnóstico volta a ser adivinhação. A saída é instrumentação manual nesses pontos, com governança de atributos coerente, decisão que pesa em órgão público e em instituição financeira.

Como detectar alucinação, drift e falha de guardrail

Alucinação é conteúdo factualmente incorreto ou fabricado, gerado sem nenhum sinal explícito de incerteza, em texto coerente e gramaticalmente correto. É por soar bem que o erro passa. A observabilidade de IA detecta alucinação por três caminhos combinados: avaliação automática em produção, comparação com a fonte recuperada e feedback do usuário.

O primeiro caminho usa um modelo avaliando outro, o LLM-as-a-judge, e merece honestidade metodológica. É um avaliador probabilístico julgando um sistema probabilístico. Serve como detector de tendência, com amostra de conferência humana, e mal como veredito sobre resposta isolada. A nota vive no atributo gen_ai.evaluation.score.value.

O segundo caminho é a fundamentação, ou groundedness, no pipeline de Retrieval Augmented Generation, ou RAG. A pergunta é se a resposta está ancorada no documento recuperado ou se o modelo preencheu a lacuna sozinho.

Em órgãos públicos, um portal municipal com assistente de tributo mostra o efeito com clareza: a fila do atendimento presencial cresce e a infraestrutura segue verde. O trace revela que a recuperação passou a devolver a instrução normativa antiga. O sinal que denunciou não foi latência, foi queda na fundamentação.

Drift de modelo é a degradação que não dispara alarme, porque nenhuma métrica de infraestrutura muda e a qualidade cai ao longo de semanas. Só linha de base de comportamento observada de forma contínua revela o movimento. Davis, dentro do Dynatrace Intelligence, é responsável pela análise causal da plataforma Dynatrace, e a IA causal atua na identificação da causa e do contexto do problema, enquanto os dashboards organizam e tornam exploráveis os sinais operacionais.

Guardrail é o controle de execução que mantém aplicações de IA e agênticas seguras, conformes e previsíveis, detectando comportamento não permitido. A existência do guardrail não informa nada, e o que informa é o acionamento, com categoria e desfecho. Por esse sinal, tentativa de injeção de prompt e linguagem tóxica aparecem antes de o usuário reclamar.

Em empresas privadas de grande porte, esse mesmo sinal tem leitura comercial. Uma alta de recusa por política de conteúdo depois de mudança de instrução de sistema não gera erro nenhum e derruba a conversão da jornada, e a observabilidade de IA é o que liga a mudança publicada ao efeito no funil.

Registrar prompt e resposta integrais cria problema novo, porque ambos carregam dado pessoal. O caminho é atributo estruturado por padrão, conteúdo integral apenas por amostra, com política declarada e acesso restrito. Isso é decisão de governança, e não configuração de dashboard.

O custo da observabilidade de IA e o custo de não ter

A objeção mais frequente é a conta de ingestão, e ela tem resposta técnica em três frentes.

Cardinality é a causa mais subestimada da conta alta. Um identificador de conversa, como o valor de gen_ai.conversation.id, usado como rótulo de métrica cria uma série temporal nova a cada valor. A regra prática é curta: identificador único vive no span, nunca no rótulo. Sem governança de atributos, a telemetria de IA chega em volume e não agrupa, o custo é real e a resposta continua indisponível.

Sampling é a pesquisa eleitoral. O sampling head-based decide no início do trace e descarta justamente a requisição que falhou. Em sistemas críticos, o sampling tail-based é geralmente preferido, porque decide com a árvore completa e preserva os traces de erro e de latência alta.

Setor com obrigação de guardar precisa consultar o que guardou. Em instituições financeiras, quem usa modelo para triagem de contestação recebe a pergunta meses depois: qual versão respondeu e com quais documentos. Isso exige o Grail, que retém logs, métricas, traces e eventos em volume massivo, com períodos de retenção que variam conforme o tipo de dado e a configuração adotada, com consulta rápida sobre todo o histórico, e o Dynatrace Query Language, ou DQL, para as perguntas exploratórias.

Erros comuns na adoção de observabilidade de IA

Oito erros concentram a maior parte do retrabalho em projetos de observabilidade de IA.

Em cooperativas, o segundo erro pesa mais. O mesmo assistente atende dezenas de praças e a média nacional parece boa. Com o atributo de praça governado, aparece que uma região concentra respostas de baixa fundamentação, porque a base documental dela está desatualizada, e a governança regional passa a comparar praças pelo mesmo critério.

Observabilidade de IA e a obrigação de explicar

Segundo a Gartner, em release de 30 de março de 2026, até 2028 a Explainable AI, ou XAI, levará os investimentos em observabilidade de LLM a 50% das implantações de IA generativa, ante 15% hoje.

No Brasil, não existe lei geral de inteligência artificial em vigor. O PL 2338/2023 foi aprovado pelo Plenário do Senado Federal em 10 de dezembro de 2024 e remetido à Câmara dos Deputados em 17 de março de 2025, onde tramita. O texto organiza sistemas de IA por nível de risco e prevê direitos de quem é afetado, entre eles a explicação.

A direção internacional aponta para o mesmo lado. Provedores de modelos de propósito geral na União Europeia respondem, desde agosto de 2025, por obrigações de documentação técnica e de transparência. Não é obrigação aplicável a empresa brasileira, e entra aqui como leitura de direção regulatória.

Setores regulados já convivem com a exigência de demonstrar resiliência operacional e manter trilha auditável completa. Explicar uma decisão exige saber qual versão respondeu, qual instrução estava vigente e por que a geração encerrou, informação que vive em gen_ai.response.finish_reasons.

A propagação de contexto é o carimbo no passaporte. Ou a evidência foi capturada quando o evento aconteceu, ou a resposta ao auditor será uma estimativa.

Por onde começar

A adoção de observabilidade de IA cabe em quatro passos, nesta ordem.

1. Diagnóstico do ambiente atual. O que já está instrumentado e onde a fronteira exige instrumentação manual.
2. Escolha da abordagem de coleta. OneAgent, OpenTelemetry ou modelo híbrido, decidido pelo perfil do parque.
3. Convenção de atributos antes da primeira onda. Nome canônico de serviço, unidade declarada, convenção semântica GenAI em vez de atributo caseiro.
4. Implantação em ondas, com governança contínua e capacitação por perfil. Cada onda entrega uma pergunta respondida, com valor visível em poucas semanas.

Para o profissional DevOps, a terceira decisão é a que muda a rotina, porque a checagem de atributo entra na esteira de entrega contínua, no mesmo lugar onde já existem os testes automatizados. Atributo validado antes da publicação custa uma linha de configuração, e corrigido depois custa reprocessar histórico.

Perguntas frequentes sobre observabilidade de IA

Qual a diferença entre observabilidade de IA e AIOps?

A direção da relação. Na observabilidade de IA, a inteligência artificial é o objeto observado, com modelos e agentes emitindo telemetria própria. No AIOps, a inteligência artificial é a ferramenta que analisa telemetria de sistemas convencionais. Uma organização costuma precisar das duas, e confundi-las leva a comprar uma esperando a outra.

Observabilidade de IA é o mesmo que observabilidade de LLM?

Não. Observabilidade de LLM cobre a camada do modelo: token, versão, temperatura, motivo de encerramento e tempo até o primeiro token. A observabilidade de IA cobre também a infraestrutura de inferência e a camada de agente, que é onde nasce a maior parte das falhas em cascata de sistemas com múltiplos passos.

Como saber se o modelo está alucinando em produção?

Por três sinais combinados, porque nenhum basta sozinho. A avaliação automática dá tendência, a comparação com o documento recuperado mede fundamentação, e o feedback do usuário fecha a conferência. Avaliação automática isolada é um avaliador probabilístico julgando um sistema probabilístico, e serve para acompanhar curva, não para julgar resposta isolada.

Quanto custa observar uma aplicação de IA?

O custo se decide antes da coleta, em três frentes: quais atributos entram, qual política de sampling se aplica e por quanto tempo cada tipo de dado é retido. A causa mais comum de conta alta é cardinality explosion, com identificador de conversa usado como rótulo de métrica, o que multiplica séries sem acrescentar resposta.

Dá para observar IA em ambiente com sistema legado?

Dá, com profundidade variável por camada. Onde a tecnologia é coberta pelo agente, a instrumentação é automática. Onde não é, a propagação de contexto precisa ser garantida manualmente nos pontos de fronteira, sob pena de span órfão. É esse trecho que separa a implantação que entrega diagnóstico da que entrega volume.

As decisões que determinam o resultado, quais sinais coletar, quais atributos governar, onde amostrar e o que reter, são tomadas antes da primeira linha instrumentada, e dependem menos de licença e mais de já ter atravessado o problema. A Rike IS atua como parceira de consultoria, implantação, treinamento e governança contínua em observabilidade sobre a plataforma Dynatrace, em sistemas críticos de alta complexidade, junto a órgãos públicos, instituições financeiras, cooperativas e empresas privadas de grande porte.

Este conteúdo tem finalidade informativa e técnica. As referências regulatórias são contextuais e não constituem orientação jurídica.