Hvordan LexCodex unngår hallusinasjoner — verifiserte sitater og primærkilder
Hallusinasjoner er den største praktiske risikoen med generativ AI i juridisk arbeid. Når en språkmodell finner på en rettsavgjørelse, siterer feil paragraf eller tilskriver en doktrinepassasje noen som aldri har skrevet den, risikerer advokaten i verste fall å påberope oppdiktede prejudikater for domstolen.
Det har skjedd på ekte. Mest kjent er Mata v. Avianca i New York 2023, hvor advokaten Steven Schwartz fikk disiplinære sanksjoner etter å ha sitert seks fabrikkerte ChatGPT-saker. Året etter fulgte lignende sanksjoner i Storbritannia (Felicity Harber, 2023) og Canada (Zhang v. Chen, 2024).
Problemet er at ett enkelt hallusinert sitat av hundre er verre enn ingen sitater i det hele tatt. Leseren har ingen rimelig sjanse til å vite hvilken av referansene som faktisk finnes. Det går ikke å håndtere med kosmetikk. Det må bygges bort.
Hva er en hallusinasjon i praksis?
I LLM-sammenheng er hallusinasjoner ikke tilfeldige feil. De er statistisk plausible, men faktisk falske påstander. Modellen produserer tekst som ser ut som en virkelig rettsavgjørelse: riktig format, rimelig år, plausibelt dommernavn. Bare at avgjørelsen ikke finnes.
Vanlige former i juridisk AI:
- Fabrikkerte rettsavgjørelser, for eksempel "Rt. 2018 s. 423" som ikke finnes, eller der nummeret er riktig, men innholdet er feil
- Feilaktige paragrafhenvisninger, som "avtaleloven § 36 annet ledd" der leddet ikke er anvendelig på spørsmålet
- Sitater fra doktrine som høres rimelige ut, men ikke finnes hos angitt forfatter
Årsaken er ikke at modellen prøver å lyve. LLM-er er språkmodeller, ikke databaser. Når du spør en ren modell om norsk skadeerstatningsrett, leverer den den mest sannsynlige ordsekvensen ut fra treningsdataen. Det er noe helt annet enn et søkeresultat fra en verifisert rettskilde.
Hvordan LexCodex er bygget for å redusere risikoen
Vi kombinerer tre teknikker. Ingen av dem løser problemet alene, men sammen tar de bort de fleste tilfellene der hallusinasjoner pleier å snike seg inn.
Primærkilder er forhåndsmappet, ikke gjettet
Hver juridisk påstand i en LexCodex-analyse henviser til en URL i en primærkilde. URL-mønstrene ligger i koden. Modellen kan ikke finne på en lenke uten at den matcher et verifisert mønster, og en URL som ikke treffer blir verifisert av en separat citation-verifier før analysen vises.
Klikker du på en kilde lander du direkte på originaldokumentet, ikke på en cache hos oss. Du verifiserer mot primærkilden, vi cacher ikke teksten.
Modellen er instruert til å si "vet ikke"
System-prompten instruerer modellen til å si "jeg er usikker, sjekk primærkilden" heller enn å fabrikkere en referanse. Det går mot defaultatferden hos en LLM, som er å produsere flytende tekst selv når underlaget er tynt.
I praksis får du oftere svar som "konkret praksis på dette punktet har jeg ikke, sjekk Lovdata" eller "bestemmelsen tolkes ulikt i ulike sammenhenger, primærkilden gir fullstendig kontekst". Det er forskjellen mellom en modell som høres selvsikker ut og en som er brukbar i klientarbeid.
Modellen får tenke i flere trinn før svaret skrives
Vi bruker den underliggende modellens funksjon for flertrinns-resonnement. Modellen får resonnere internt før den produserer endelig svar. For komplekse spørsmål som compliance-analyse og AI Act-klassifisering merkes det tydelig i kvaliteten. For enkle faktaspørsmål er forskjellen mindre.
Hvordan du selv tester beskyttelsen
Dette er konkrete tester du kan kjøre mot LexCodex eller en hvilken som helst juridisk AI:
- Still et spørsmål der publisert praksis sannsynligvis mangler. Modellen skal svare "jeg har ikke konkret praksis på dette", ikke finne på.
- Klikk på hver sitert kilde. Den skal lede til et verifiserbart dokument, ikke en hub-side eller 404.
- Still samme spørsmål med ulike formuleringer. Hvis svaret pendler mellom motsatte anbefalinger er modellen usikker, og da skal den si det.
- Be om tolkning av en kjent doktrinepassasje. Korrekt sitat eller "jeg gjengir ikke spesifikke passasjer" — begge er akseptable. Oppdikt er det ikke.
Hva det ikke løser
Beskyttelsen eliminerer ikke all risiko. Den reduserer rommet der hallusinasjoner pleier å oppstå. Resten ligger på deg som bruker: verifiser, klikk, kontroller før du tar det videre til klient eller domstol.
For arbeid der en feilaktig referanse får virkelige konsekvenser er hallusinasjons-håndtering ikke et tilvalg. Det er forutsetningen for at verktøyet skal være brukbart. Det er derfor vi har lagt så mye arbeid på denne delen av plattformen.