Mapa de risco e qualidade
Casos de uso, modos de falha, dimensões, severidade, cobertura atual e prioridades de controle.
Avaliação e governança de IATransforme qualidade de IA em critério de lançamento.
Projetamos sistemas de avaliação para LLMs, RAG e agentes. Casos reais, métricas por dimensão, testes adversariais e observabilidade convergem em critérios explícitos para aprovar, suspender ou reverter uma versão.
Casos reaisFalhas observadas viram casos de regressão.
Dimensões separadasQualidade agregada não esconde risco.
Juízes validadosAvaliadores também precisam de teste.
Critério versionadoCada decisão gera evidência reproduzível.
Problemas atendidos
Quando “parece funcionar” não é evidência.
Sistemas generativos variam por entrada, modelo, contexto e ferramenta. Um conjunto fixo de demonstrações não revela a distribuição das falhas nem protege a próxima versão.
Qualidade e confiabilidade
- Avaliações em ambiente controlado para LLM, RAG e agentes
- Conjuntos de referência e casos de regressão
- Verificações determinísticas e juízes baseados em modelo
- Calibração e concordância humana
- Critérios de aprovação integrados ao CI/CD
Segurança e operação
- Injeção de prompt (prompt injection) e vazamento de dados
- Uso indevido de ferramentas e permissões
- Testes adversariais orientados ao contexto
- Rastros de execução, custo, latência e falhas
- Políticas de implantação gradual, suspensão e reversão
Controles
Um sistema de avaliação pronto para operar.
O projeto pode começar por um diagnóstico ou chegar à integração completa no processo de lançamento.
Banco de avaliação
Casos representativos, difíceis e adversariais, com proveniência, versão e critério esperado.
Avaliadores e critérios de aprovação
Testes de esquema, regras determinísticas, juízes, agregação e decisão de promoção ou bloqueio.
Observabilidade e resposta
Rastros de execução, indicadores, alertas, amostragem de produção e procedimento para investigar e incorporar falhas.
Ciclo
A fábrica aprende com cada falha.
A avaliação não termina com uma referência inicial. O sistema precisa transformar evidências da produção em novos casos de teste.
Observar
Registrar entradas, saídas, ferramentas, latência, custo e sinais de resultado sem registrar dados além do necessário.
Classificar
Agrupar falhas, medir severidade, identificar lacunas e selecionar casos que representam risco recorrente.
Codificar
Transformar os casos em verificações, juízes e políticas de decisão reproduzíveis.
Controlar
Executar no CI e na produção, bloquear regressões e atualizar o banco quando o sistema ou o uso mudar.
Perguntas frequentes
Escopo de avaliação
Um juiz baseado em LLM é confiável?
Pode ser útil quando a tarefa exige julgamento semântico, mas precisa ser validado contra exemplos rotulados e combinado com verificações determinísticas sempre que possível.
Vocês seguem referências de segurança reconhecidas?
O escopo pode mapear riscos e controles a referências públicas adequadas, como OWASP para aplicações com LLM, sem tratar checklist genérico como substituto da análise do sistema real.
É necessário ter muitos dados de produção?
Não para começar. É possível montar uma base inicial com especificações, registros disponíveis, testes adversariais e revisão especializada. A produção depois amplia e recalibra essa base.
Qual falha precisa bloquear o lançamento?
Descreva o sistema, quem usa, quais ações ele executa e o impacto de uma resposta errada. O diagnóstico começa pelos riscos que merecem se tornar critérios de bloqueio.