Legal Red Team

• Du har använt en LLM för att utforma ett juridiskt PM, en avtalssammanfattning, en efterlevnadsguide eller en regulatorisk översikt och behöver verifiera den innan du delar den.
• Du vill fånga upp trovärdiga men felaktiga artikelnummer, fabricerade deadlines eller säkra men okällhänvisade påståenden innan distribution.
• Du behöver en strukturerad go/no-go-kvalitetsgräns (minst 4/5 i poäng, noll KRITISKA problem) för AI-genererat juridiskt innehåll.
• Du genomför en citationsrevision för att bekräfta att varje hänvisning till lagstiftning faktiskt existerar och överensstämmer med den citerade bestämmelsen.

• Du behöver verifiera juridiska slutsatser, processrättslig strategi eller professionella juridiska tolkningar — denna färdighet kontrollerar faktanoggrannhet och korrekthet i källhänvisningar, inte juridiskt resonemang.
• Du behöver tillgång till betalda juridiska databaser (Westlaw, LexisNexis) — källverifiering förlitar sig på fritt tillgängliga officiella källor.
• Du söker ett substitut för kvalificerad juridisk rådgivning i höginsatsärenden; denna färdighet är ett komplement, inte en ersättning.

Varje dokument bedöms utifrån sex strukturerade kategorier: faktanoggrannhet, hänvisningar till rättsliga auktoriteter, aritmetisk validering, källverifiering, identifiering av spekulationer samt tillräcklighet av friskrivningsklausuler. Varje kategori har definierade varningssignaler och kontroller, vilket säkerställer att inga vanliga felkällor förbises.

Färdigheten riktar in sig på fem återkommande AI-hallucinationsmönster i juridiskt innehåll: trovärdiga men felaktiga artikelnummer, säkert felaktiga datum, vägledning som feltolkas som bindande lag, föråldrade juridiska hänvisningar och aritmetiska fel i tidslinjeberäkningar. Varje mönster har en definierad detektionsteknik.

Fynd klassificeras i fyra allvarlighetsnivåer — KRITISK, HÖG, MÅTTLIG och LÅG — med tydliga definitioner, exempel och obligatoriska åtgärder på varje nivå. KRITISKA problem måste åtgärdas innan någon distribution sker.

Verktyget legal_quality_scorer.py producerar ett sammansatt betyg från 1–5 med uppdelning per kategori. Dokument som får lägre poäng än 4/5 får inte distribueras; arbetsflödet för distributionsgrinden kräver noll KRITISKA problem och fullständiga ansvarsfriskrivningar.

Två Python-skript — legal_fact_checker.py och legal_quality_scorer.py — stöder text- eller filinmatning, JSON-utdata, utförligt läge och sparade rapporter. De fungerar som förstahandsverktyg för genomsökning, utformade för att mata in i manuell adversariell granskning.

Tre färdiga arbetsflöden täcker fullständig motpartsgranskning, snabb citatverifiering och kontroll inför distribution. Varje arbetsflöde inkluderar ett valideringssteg för att bekräfta att slutförande­kriterierna har uppfyllts.

Kör legal_fact_checker.py för att markera alla citat och datum, verifiera varje referens mot EUR-Lex eller eCFR, kör sedan legal_quality_scorer.py för att bekräfta ett betyg på 4/5 eller högre samt noll KRITISKA fynd innan materialet skickas till klienter eller personal.

Använd Workflow 2 (Quick Citation Check) för att extrahera varje juridisk hänvisning från dokumentet och verifiera varje enskild mot den relevanta officiella källan — och fånga upp påhittade artikelnummer eller felciterade bestämmelser innan de når ett juridiskt team.

Integrera legal_quality_scorer.py som en automatiserad kontrollpunkt i en dokumentgenereringspipeline. Alla dokument som får poäng under 4/5 hålls kvar för mänsklig granskning; endast dokument som uppfyller tröskelvärdet och ansvarsfriskrivningskraven skickas vidare i flödet.

Tillämpa sexstegsmetodiken med ett adversariellt synsätt: markera varje faktapåstående och siffra, verifiera datum mot lagstiftningstext, flagga spekulation som presenteras som säkerhet och producera en allvarlighetsklassificerad findings-rapport för utkaststeamet.