Sådan undgår LexCodex hallucinationer — verificerede citater og primærkilder
Hallucinationer er den største praktiske risiko ved generativ AI i juridisk arbejde. Når en sprogmodel opfinder en retsafgørelse, henviser til den forkerte paragraf eller tilskriver en doktrinpassage en, der aldrig har skrevet den, risikerer advokaten i værste fald at påberåbe sig opdigtede præjudikater for retten.
Det er sket i virkelige sager. Mest kendt er Mata v. Avianca i New York i 2023, hvor advokat Steven Schwartz fik disciplinære sanktioner efter at have citeret seks fabrikerede ChatGPT-sager. Året efter fulgte tilsvarende sanktioner i Storbritannien (Felicity Harber, 2023) og Canada (Zhang v. Chen, 2024).
Problemet er, at ét enkelt halluciineret citat ud af hundrede er værre end slet ingen citater. Læseren har ingen rimelig mulighed for at vide, hvilke referencer der rent faktisk findes. Det kan ikke håndteres kosmetisk. Det skal bygges væk.
Hvad en hallucination ser ud i praksis
I LLM-sammenhæng er hallucinationer ikke tilfældige fejl. De er statistisk plausible, men faktuelt falske udsagn. Modellen producerer tekst, der ligner en rigtig retsafgørelse: rigtigt format, plausibelt år, plausibelt dommernavn. Blot er afgørelsen ikke virkelig.
Almindelige former i juridisk AI:
- Fabrikerede retsafgørelser, fx "U 2018.423H" der ikke findes, eller hvor nummeret er rigtigt, men indholdet er forkert
- Forkerte paragrafhenvisninger, som "aftaleloven § 36, stk. 2" hvor stykket ikke er relevant for spørgsmålet
- Citater fra doktrin, der lyder rimelige, men ikke findes hos den angivne forfatter
Årsagen er ikke, at modellen forsøger at lyve. LLM'er er sprogmodeller, ikke databaser. Spørger man en ren model om dansk erstatningsret, leverer den den mest sandsynlige ordsekvens på baggrund af træningsdata. Det er noget andet end et søgeresultat fra en verificeret retskilde.
Sådan er LexCodex bygget for at mindske risikoen
Vi kombinerer tre teknikker. Ingen af dem løser problemet alene, men sammen fjerner de de fleste situationer, hvor hallucinationer plejer at snige sig ind.
Primærkilder er forhåndskortlagt, ikke gættet
Hvert juridisk udsagn i en LexCodex-analyse peger på en URL i en primærkilde. URL-mønstrene ligger i koden. Modellen kan ikke opfinde et link, uden at det matcher et verificeret mønster, og en URL der ikke rammer, kontrolleres af en separat citation-verifier, før analysen vises.
Klikker du på en kilde, lander du direkte på det originale dokument, ikke på en kopi hos os. Du verificerer mod primærkilden, og vi cacher ikke teksten.
Modellen er instrueret i at sige "ved ikke"
System-prompten instruerer modellen i at sige "jeg er usikker, tjek primærkilden" frem for at fabrikere en reference. Det går imod en LLM's standardadfærd, som er at producere flydende tekst, selv når grundlaget er tyndt.
I praksis får man oftere svar som "konkret praksis på dette punkt har jeg ikke, tjek Retsinformation" eller "bestemmelsen tolkes forskelligt i forskellige sammenhænge, primærkilden giver fuld kontekst". Det er forskellen mellem en model, der lyder selvsikker, og en der er anvendelig i klientarbejde.
Modellen får tænke i flere trin, før svaret skrives
Vi bruger den underliggende models funktion for flertrins-ræsonnement. Modellen får ræsonnere internt, før den producerer det endelige svar. På komplekse spørgsmål som compliance-analyse og AI Act-klassifikation mærkes det tydeligt i kvaliteten. På enkle faktuelle spørgsmål er forskellen mindre.
Sådan tester du selv beskyttelsen
Konkrete test du kan køre mod LexCodex eller en hvilken som helst juridisk AI:
- Stil et spørgsmål, hvor offentliggjort praksis sandsynligvis mangler. Modellen skal svare "jeg har ikke konkret praksis på dette", ikke finde på.
- Klik på hver citeret kilde. Den skal føre til et verificerbart dokument, ikke en hub-side eller en 404.
- Stil samme spørgsmål med forskellige formuleringer. Hvis svaret skifter mellem modsatte anbefalinger, er modellen usikker, og det skal den sige.
- Bed om tolkning af en kendt doktrinpassage. Korrekt citat eller "jeg gengiver ikke specifikke passager" — begge er acceptable. Opdigtning er det ikke.
Hvad det ikke løser
Beskyttelsen fjerner ikke al risiko. Den fjerner rummet, hvor hallucinationer normalt opstår. Resten ligger på dig som bruger: verificer, klik, kontroller, før du tager det videre til klient eller domstol.
I arbejde, hvor en forkert reference får virkelige konsekvenser, er hallucinations-håndtering ikke et tilvalg. Det er forudsætningen for, at værktøjet er anvendeligt. Det er derfor, vi har lagt så meget arbejde i netop denne del af platformen.