Estrutura de verificação adversarial para conteúdo jurídico gerado por IA: verificação de fatos, validação de citações, detecção de alucinações e pontuação de prontidão para distribuição.
npx clawhub@latest install legal-red-teamLegal Red Team é um framework de verificação adversarial pronto para produção, voltado para documentos jurídicos gerados por IA. Ele verifica sistematicamente a precisão factual, valida citações legais em fontes oficiais, detecta padrões conhecidos de alucinação, confere cálculos aritméticos e pontua documentos quanto à prontidão para distribuição — tudo isso por meio de uma metodologia estruturada em seis categorias. Esta skill não constitui aconselhamento jurídico e tem como objetivo complementar, e não substituir, a revisão profissional qualificada por advogados.
npx clawhub@latest install legal-red-teamClique no botão Instalar no topo desta página para configuração com um clique
Cada documento é avaliado em seis categorias estruturadas: precisão factual, citações de autoridade legal, validação aritmética, verificação de fontes, detecção de especulações e adequação de disclaimers. Cada categoria possui sinais de alerta e verificações definidos, garantindo que nenhum modo de falha comum seja ignorado.
A skill tem como alvo cinco padrões recorrentes de alucinação de IA em conteúdo jurídico: números de artigos plausíveis, mas incorretos; datas incorretas apresentadas com confiança; orientações caracterizadas erroneamente como legislação vinculante; referências legais desatualizadas; e erros aritméticos em cálculos de prazos. Cada padrão possui uma técnica de detecção definida.
Os achados são classificados em quatro níveis de severidade — CRITICAL, HIGH, MODERATE e LOW — com definições claras, exemplos e ações requeridas em cada nível. Problemas CRITICAL devem ser resolvidos antes de qualquer distribuição.
A ferramenta legal_quality_scorer.py produz uma pontuação composta de 1 a 5 com detalhamento por categoria. Documentos com pontuação inferior a 4/5 não devem ser distribuídos; o fluxo de trabalho do portão pré-distribuição exige zero problemas CRÍTICOS e isenções de responsabilidade completas.
Dois scripts Python — legal_fact_checker.py e legal_quality_scorer.py — suportam entrada de texto ou arquivo, saída em JSON, modo detalhado e relatórios salvos. Eles funcionam como ferramentas de varredura de primeira passagem, projetadas para alimentar a revisão adversarial manual.
Três fluxos de trabalho prontos para uso cobrem revisão adversarial completa, verificações rápidas de citações e controle pré-distribuição. Cada fluxo de trabalho inclui uma etapa de validação para confirmar que os critérios de conclusão foram atendidos.
Execute legal_fact_checker.py para sinalizar todas as citações e datas, verifique cada uma delas no EUR-Lex ou no eCFR, em seguida execute legal_quality_scorer.py para confirmar uma pontuação de 4/5 ou superior e zero ocorrências CRÍTICAS antes de enviar aos clientes ou à equipe.
Use o Workflow 2 (Quick Citation Check) do Legal Red Team para extrair todas as citações jurídicas do documento e verificar cada uma delas na fonte oficial correspondente — identificando números de artigos inventados ou dispositivos distorcidos antes que cheguem à equipe jurídica.
Integre legal_quality_scorer.py como uma porta automatizada em um pipeline de geração de documentos. Qualquer documento com pontuação abaixo de 4/5 é retido para revisão humana; apenas os documentos que atendem ao limite de pontuação e aos requisitos de aviso legal são encaminhados para as etapas seguintes.
Aplique a metodologia de seis etapas com uma mentalidade adversarial: marque cada afirmação factual e número, verifique datas em relação ao texto legal, sinalize especulações apresentadas como certezas e produza um relatório de achados classificados por gravidade para a equipe de redação.
npx clawhub@latest install legal-red-teamFaça login para escrever uma avaliação
Nenhuma avaliação ainda. Seja o primeiro a compartilhar sua experiência!