Quality gates para LLMs: transforme avaliações em decisões de lançamento

Modelo operacional

Quatro camadas, uma decisão de lançamento#

1. 01

   Testes

   Esquemas, regras de política, casos fixos e invariantes capturam falhas que não exigem interpretação.

2. 02

   Avaliador

   Uma rubrica avalia qualidades como fundamentação (groundedness) ou conclusão da tarefa e retorna veredito, evidência e um estado explícito de incerteza.

3. 03

   Gate

   Uma política combina sinais, trata incerteza e produz PROMOTE, HOLD ou ROLLBACK.

4. 04

   Lançamento

   Uma pessoa responsável aceita a evidência, registra a decisão e monitora o resultado real.

Contrato do avaliador

Peça um veredito que possa ser auditado#

Um prompt de avaliação não é um sistema de qualidade. Trate o avaliador como componente versionado, com critério estreito, exemplos-âncora, saída estruturada e caminho de abstenção. Guarde a versão da rubrica junto de cada resultado.

O resultado mínimo útil não é um número solto. Preserve o veredito, a evidência que o sustenta, um estado de incerteza cujo significado esteja definido na rubrica e contexto de execução suficiente para reproduzir o caso. O G-Eval é um exemplo público inicial de uso de etapas explícitas de avaliação e estrutura de formulário no lugar de uma opinião livre.

{
  "policy_version": "release-policy@1",
  "required": ["schema", "critical_safety", "task_completion"],
  "hard_blockers": ["schema", "critical_safety"],
  "on_missing_evidence": "HOLD",
  "allowed_verdicts": ["PROMOTE", "HOLD", "ROLLBACK"]
}

{
  "verdict": "HOLD",
  "failed": ["critical_safety"],
  "missing": [],
  "policy_version": "release-policy@1"
}

Política do gate

Limiares são política, não verdade#

Não esconda riscos diferentes dentro de uma média. Um lançamento pode ter um agregado saudável e ainda falhar em um invariante crítico de segurança ou factualidade. Separe bloqueadores rígidos de sinais graduais e documente o que acontece perto do limiar.

Use PROMOTE quando os invariantes obrigatórios passam e a evidência está dentro do domínio operacional validado. Use HOLD quando a evidência é ausente, conflitante ou incerta. Use ROLLBACK quando evidências de produção cruzam um limite predefinido de segurança ou confiabilidade. Não existe corte universal; calibre com casos rotulados e o custo de cada erro.

Avalie o avaliador

Avaliadores baseados em LLM precisam dos próprios testes#

O MT-Bench documenta vieses de posição, verbosidade e autopreferência em avaliações feitas por LLMs. Combata-os com inversão de posição, casos de tamanho controlado, identidade do modelo ocultada, exemplos adversariais e comparação periódica com rótulos humanos.

Acompanhe discordância e abstenção, não apenas taxa de aprovação. Um avaliador que sempre parece seguro pode ser mais perigoso que outro capaz de expor incerteza. Quando a rubrica, o modelo avaliador ou o prompt mudar, reproduza um conjunto estável de calibração antes de promover.

Trilha de evidências

Torne falhas reproduzíveis sem coletar tudo#

Conecte o registro da avaliação à execução, às versões de modelo e prompt, aos resultados de ferramentas, à latência, ao custo e ao contexto relevante de recuperação. Convenções semânticas comuns ajudam a correlacionar evidências entre serviços, mas elas evoluem — fixe a versão adotada.

Não grave prompts e respostas por padrão. O OpenTelemetry alerta explicitamente que atributos de mensagens GenAI podem conter informações sensíveis. Aplique mascaramento ou remoção de dados sensíveis, controle de acesso, limites de retenção e captura de conteúdo por adesão antes de armazenar os dados.

Uso interno sistemático

Transforme atrito real no próximo caso de regressão#

Antes que usuários encontrem a falha, percorra as jornadas críticas do próprio produto: o prompt estranho, a ferramenta que falha, a resposta parcial, a troca de idioma e o caminho de recuperação. Converta cada falha confirmada em um caso mínimo e reproduzível.

Assim o ciclo se fecha: produção e uso interno sistemático (dogfooding) geram evidências; a triagem gera rótulos; os rótulos ampliam o conjunto de avaliação; o conjunto protege o próximo lançamento. O gate é útil quando aprende com a falha sem mudar silenciosamente o significado de sucesso.

Checklist de lançamento

Um gate pequeno que vale operar#

• ✓Versione conjunto de dados, rubrica, avaliador, prompt e política.
• ✓Rode invariantes determinísticos antes da avaliação probabilística.
• ✓Retorne veredito, evidência, estado de incerteza definido e abstenção.
• ✓Valide com casos rotulados e teste vieses conhecidos do avaliador.
• ✓Separe bloqueadores críticos de indicadores agregados.
• ✓Mascare ou remova dados sensíveis dos rastros de execução e defina a retenção.
• ✓Atribua uma pessoa responsável e registre a decisão.
• ✓Reproduza falhas de produção antes da próxima promoção.