Hur LexCodex undviker hallucinationer — verifierade citat och primärkällor
Hallucinationer är den största praktiska risken med generativ AI i juridiskt arbete. När en språkmodell uppfinner ett rättsfall, citerar fel paragraf eller tillskriver en doktrinpassage någon som aldrig skrivit den, riskerar advokaten i värsta fall att åberopa påhittade prejudikat inför domstol.
Det har hänt på riktigt. Mest känt är Mata v. Avianca i New York 2023, där advokaten Steven Schwartz fick disciplinära sanktioner efter att ha citerat sex fabricerade ChatGPT-fall. Året därpå följde liknande sanktioner i Storbritannien (Felicity Harber, 2023) och Kanada (Zhang v. Chen, 2024).
Problemet är att ett enda hallucinerat citat av hundra är värre än inget citat alls. Läsaren har ingen rimlig chans att veta vilket av referenserna som faktiskt finns. Det går inte att hantera problemet med kosmetik. Det måste byggas bort.
Vad är en hallucination i praktiken?
I LLM-sammanhang är hallucinationer inte slumpmässiga fel. De är statistiskt plausibla men faktiskt falska påståenden. Modellen producerar text som ser ut som ett verkligt rättsfall: rätt format, rimligt år, plausibelt domarnamn. Bara att fallet inte existerar.
Vanliga former i juridisk AI:
- Fabricerade rättsfall, till exempel "NJA 2018 s. 423" som inte finns, eller där numret är riktigt men sakinnehållet är felaktigt
- Felaktiga paragrafhänvisningar, som "AvtL 36 § 2 st" där stycket inte är tillämpligt på frågan
- Citat ur doktrin som låter rimliga men inte återfinns hos angiven författare
Orsaken är inte att modellen försöker ljuga. LLM:er är språkmodeller, inte databaser. När du frågar en ren modell om svensk skadeståndsrätt levererar den den mest sannolika ordsekvensen utifrån sin träningsdata. Det är ett helt annat resultat än ett sökresultat från en verifierad rättskälla.
Hur LexCodex är byggt för att minska risken
Vi kombinerar tre tekniker. Ingen av dem löser problemet ensam, men tillsammans tar de bort de flesta tillfällena där hallucinationer brukar smyga in.
Primärkällor är förinmatade, inte gissade
Varje juridiskt påstående i en LexCodex-analys hänvisar till en URL i en primärkälla. URL-mönstren finns i koden. Modellen kan inte hitta på en länk utan att den matchar ett verifierat mönster, och en URL som inte träffar verifieras av en separat citation-verifier innan analysen visas för dig.
Klickar du på en källa landar du direkt på originaldokumentet, inte på en cache hos oss. Du verifierar mot primärkällan, vi cachar inte texten.
Modellen är instruerad att säga "vet inte"
System-prompten som styr modellen instruerar den att säga "jag är osäker, kontrollera primärkällan" hellre än att fabricera en referens. Det går mot defaultbeteendet hos en LLM, som är att producera flytande text även när underlaget är tunt.
I praktiken får du oftare svar som "specifik praxis på den här punkten har jag inte, sök på Sveriges Domstolar" eller "bestämmelsen tolkas olika i olika sammanhang, primärkällan ger fullständig kontext". Det är skillnaden mellan en modell som låter självsäker och en som är användbar i klientarbete.
Modellen får tänka i flera steg innan svaret skrivs
Vi använder den underliggande modellens funktion för flerstegsresonemang. Modellen får resonera internt innan den producerar slutsvaret. För komplexa frågor som compliance-analys och AI Act-klassificering märks det tydligt i kvaliteten. För enkla faktafrågor är skillnaden mindre.
Hur du själv testar skyddet
Det här är konkreta tester du kan köra mot LexCodex eller vilken juridisk AI som helst:
- Ställ en fråga där publicerad praxis sannolikt saknas. Modellen ska svara "jag har inte konkret praxis på detta", inte hitta på.
- Klicka på varje citerad källa. Den ska leda till ett verifierbart dokument, inte en hub-sida eller 404.
- Ställ samma fråga med olika formuleringar. Om svaret pendlar mellan motsatta rekommendationer är modellen osäker, och då ska den säga det.
- Be om tolkning av en känd doktrinpassage. Korrekt citat eller "jag återger inte specifika passager" — båda är acceptabla. Påhitt är inte det.
Vad det inte löser
Skyddet eliminerar inte all risk. Det minskar utrymmet där hallucinationer brukar uppstå. Resten ligger på dig som användare: verifiera, klicka, kontrollera innan du tar det vidare till klient eller domstol.
För arbete där en felaktig referens får verkliga konsekvenser är hallucinations-hantering inget tillval. Det är förutsättningen för att verktyget ska gå att använda. Det är därför vi har lagt så mycket arbete på den här delen av plattformen.