Checklist de lançamento para aplicações com LLM

01 · Contrato de comportamento

Defina sucesso antes de executar o modelo#

Escreva a tarefa, ferramentas permitidas, esquema de saída, comportamento de recusa, orçamento de latência e falhas críticas antes de escolher uma métrica. Um requisito vago como “ser útil” não produz um controle (gate) auditável.

Separe invariantes de preferências. Validade do esquema, autorização e uso proibido de ferramentas são bloqueadores determinísticos. Tom, relevância e completude podem exigir rubricas ou revisão humana. Colocar tudo em uma nota esconde falhas graves.

02 · Evidência de avaliação

Teste casos conhecidos, limites e recuperação#

Construa um conjunto versionado com jornadas comuns, limites difíceis, entradas adversariais e falhas já observadas. Registre as versões do conjunto de dados, prompt, modelo, ferramenta e rubrica em cada execução.

Não promova apenas pela taxa de aprovação. Inspecione falhas por capacidade e fatia de risco, compare com a última versão aprovada e trate cobertura ausente como incerteza, não como sucesso.

03 · Bloqueadores críticos

Dê à segurança e à autorização um controle próprio#

O OWASP Top 10 para aplicações com LLM descreve riscos que uma nota média de qualidade não neutraliza. Injeção de prompt (prompt injection), agência excessiva, exposição de informação sensível e tratamento inseguro de saída exigem testes e responsáveis explícitos.

Um invariante crítico deve falhar de forma segura: o lançamento para mesmo se todos os indicadores graduais melhorarem. Documente o processo de exceção para que urgência não redefina a política silenciosamente.

04 · Operação

Observe decisões sem criar um vazamento de dados#

Rastreie operações de modelo e ferramentas, latência, erros, uso de tokens e vereditos de avaliação com identificadores de baixa cardinalidade. Capture conteúdo de mensagens apenas quando necessário, com mascaramento ou remoção de dados sensíveis, controle de acesso e retenção.

Conecte o controle a uma pessoa responsável pelo lançamento e a um sinal de reversão. Alerta sem responsável é apenas um registro; reversão sem caminho testado é apenas intenção.

05 · Decisão de lançamento

Termine em PROMOTE, HOLD ou ROLLBACK#

1. P

   PROMOTE

   A evidência obrigatória está completa, invariantes críticos passam e o risco residual foi aceito.

2. H

   HOLD

   A evidência está ausente, conflitante, fora do domínio validado ou aguarda decisão humana.

3. R

   ROLLBACK

   Evidência de produção cruza um limite predefinido de confiabilidade, segurança ou negócio.

{
  "candidate": "release-2026-07-20.1",
  "artifact": "image@sha256:<digest>",
  "evidence": ["tests", "evals", "security", "operations"],
  "owner": "release-owner",
  "verdict": "HOLD",
  "reason": "candidate journey not verified",
  "rollback_target": "release-2026-07-19.3"
}

Checklist pré-tráfego

Doze perguntas antes do tráfego de produção#

• ✓O contrato de comportamento está versionado?
• ✓Esquema, autorização e invariantes de política passam?
• ✓O conjunto cobre jornadas comuns, limites, ataques e recuperação?
• ✓Falhas anteriores de produção foram reproduzidas?
• ✓Rubrica e modelo do avaliador estão fixados por versão?
• ✓Fatias de alto risco foram vistas separadamente das médias?
• ✓Cada risco crítico possui bloqueador rígido?
• ✓Prompts e respostas estão mascarados ou sem captura por padrão?
• ✓A execução pode ser reproduzida pelas versões registradas?
• ✓Existe uma pessoa responsável pelo lançamento?
• ✓A reversão está definida e ensaiada?
• ✓A decisão final e sua evidência foram registradas?