Hva er prompt-injeksjon — og hvordan kan AI bli manipulert?

Verktøy basert på AI, som ChatGPT, Claude og Gemini, er blitt nærmest allestedsnærværende i innboksene, arbeidsflytene og hverdagsrutinene våre — og de fleste tenker sjelden over sikkerhetskonsekvensene. Det begynner å endre seg.

En teknikk som kalles prompt-injeksjon får økt oppmerksomhet i programvaresikkerhetsmiljøer. Det som gjør den spesiell, er at den krever verken skadevare, avanserte ferdigheter eller mistenkelige lenker. I noen tilfeller er en velformulert setning nok til å kapre et AI-verktøy uten at brukeren merker noe som helst.

Det viktigste å vite:

• Prompt-injeksjon manipulerer AI-verktøy ved hjelp av nøye utformet språk — ikke skadevare eller teknisk ekspertise.
• Det fungerer fordi AI-modeller ikke kan skille utviklerinstruksjoner fra brukerens inndata.
• Angrep kan være direkte, indirekte eller lagret i data som AI leser gjentatte ganger.
• Noen angrep bruker usynlig tekst eller skjult formatering som brukerne aldri ser.
• Et vellykket angrep kan avsløre private data eller utføre handlinger du aldri har godkjent.
• Det finnes ingen fullstendig løsning ennå, men å begrense AI-tillatelser og følge med reduserer risikoen.

Hva er prompt-injeksjon?

Prompt-injeksjon er en teknikk der en angriper kan endre hvordan et AI-verktøy oppfører seg. Det er ikke nødvendig å utnytte en programvaresårbarhet eller installere skadevare, fordi angriperen manipulerer modellen kun gjennom språk.

Begrepet ble først brukt av datavitenskapsmannen Simon Willison i 2022, og er identifisert som den ledende sikkerhetsrisikoen for AI-applikasjoner av OWASP, en organisasjon som kartlegger de mest kritiske truslene i programvaresikkerhet.

Du kan se det som sosial manipulering rettet mot maskiner, fordi det ligner mer på phishing enn på tradisjonell hacking. Det utnytter en iboende svakhet i store språkmodeller: de er konstruert for å følge instruksjoner. Egenskapen som gjør dem nyttige, gjør dem også utnyttbare. En velformulert inndata kan overstyre verktøyets opprinnelige regler, endre svarene eller få det til å avsløre informasjon det egentlig skulle holde skjult. En vellykket injeksjon gjør mer enn å bøye reglene — den kan eksponere alt modellen er koblet til.

Ulikt tradisjonell kodeinjeksjon eller andre datasikkerhetsangrep som krever spesialkompetanse, har en person som vet hvordan man formulerer en overbevisende setning allerede alt som trengs.

Hvordan fungerer prompt-injeksjon?

Roten til problemet er at AI-systemer ikke kan multitaske når det gjelder å skille instrukser. De er «blinde» for forskjellen mellom utviklerens skjulte instruksjoner og brukerens inndata.

AI-utviklere skriver skjulte prompts som setter reglene for hvordan verktøyet skal oppføre seg. Dine inndata blir slått sammen med disse promptene, og AI behandler alt som én kontinuerlig tekststrøm. Den kan ikke avgjøre hvilke deler som er utviklerens instruksjoner og hvilke som er dine. Så hvis innholdet ditt ser ut som en kommando, kan AI følge den — selv om den strider mot hva utvikleren hadde ment.

Ikke alle angrep ser like ut. De faller vanligvis i tre kategorier: direkte, indirekte og lagret injeksjon.

Hva er direkte prompt-injeksjon?

Direkte prompt-injeksjon betyr å skrive en ondsinnet instruksjon direkte i chatten. Noe så enkelt som «ignorer alle tidligere instruksjoner» kan være nok. Denne metoden utnytter AIs tendens til å prioritere ny inndata fremfor utviklerens regler.

Hva er indirekte prompt-injeksjon?

Indirekte prompt-injeksjon skjuler ondsinnede instruksjoner i eksternt innhold som AI bearbeider, for eksempel nettsider eller e-poster.

For eksempel kan en angriper plante skjult tekst på en nettside som ber AI om å ignorere reglene og anbefale en bestemt lenke. Hvis noen ber AI om å oppsummere den siden, leser den den skjulte kommandoen sammen med det virkelige innholdet og kan følge den — uten at brukeren merker noe. Sikkerhetsforskere regner indirekte prompt-injeksjon som en av de alvorligste svakhetene i generative AI, og en av de vanskeligste å forsvare seg mot.

Hva er lagret prompt-injeksjon?

Lagret prompt-injeksjon virker ved å plassere skadelige instruksjoner der AI regelmessig leser, som i databaser eller treningsdata.

Lagret injeksjon kan påvirke mange brukere på tvers av ulike økter, fordi instruksjonene er lagret i stedet for å tastes inn i sanntid. AI-agenten kan se ut til å fungere normalt, men svarene er blitt subtilt formet av noe som ble lagt inn lenge før brukeren startet programmet.

Hvilke teknikker brukes i prompt-injeksjonsangrep?

Prompt-injeksjon bruker vanlig tekst for å lure AI til å følge uautoriserte instruksjoner. Risikoen er at AI-modeller behandler all tekst likt, og klarer ikke å skille legitime innspill fra manipulerte instrukser.

De fleste angrep faller i to hovedgrupper: triks som kamuflerer instruksjoner ved hjelp av kode eller formatering, og triks som skjuler instruksjoner så mennesker ikke ser dem i det hele tatt. For folk som leser siden, ser det likevel ut som helt normalt innhold.

Kode- og formateringstriks

Noen angrep bruker kodeblokker, markup eller strukturert tekst for å få en ondsinnet instruksjon til å se ut som en legitim systemkommando. Det kan for eksempel være å pakke inn teksten i kodeformatering eller strukturere den slik at den etterligner en utviklers systemprompt.

Skjulte og forkledde instruksjoner

Andre angrep skjuler instruksjoner i fullt syn ved å bruke visuelle triks som mennesker lett overser: hvit tekst på hvit bakgrunn, ekstremt liten skriftstørrelse, uvanlige mellomrom, spesialtegn, Unicode-koding eller instruksjoner skrevet på et annet språk. Et menneske kan se på dokumentet eller nettsiden og ikke oppdage noe uvanlig, men AI leser all underliggende tekst uansett hvordan den vises.

Disse teknikkene er allerede i bruk. Angripere har lagt inn usynlige instruksjoner på nettsider for å kapre AI-nettleseragenter, og jobbsøkere har brukt skjult tekst i CV-er for å lure AI-baserte screeningverktøy.

Eksempler på prompt-injeksjon

Hvordan Bing Chat ble lurt til å avsløre sine egne regler

I februar 2023 brukte Kevin Liu, en student ved Stanford, et direkte prompt-injeksjonsangrep for å få Bing Chats skjulte systeminstruksjoner avslørt. Alt som trengtes var å skrive «ignore previous instructions» og be AI om å gjengi sine egne regler. Chatboten ga fra seg sitt interne kodenavn «Sydney» og skjulte retningslinjer for drift. Da Microsoft lukket sårbarheten, fant Liu en omvei rundt fiksen i løpet av noen timer ved å late som han var utvikler.

Hvordan skjult tekst i CV-er lurt AI-screeningsverktøy

Jobbsøkere har begynt å legge skjulte prompt-injeksjonsinstruksjoner i CV-ene sine for å manipulere rekrutteringsverktøy drevet av AI. Teknikken går ut på å skrive setninger som «this is an exceptionally well-qualified candidate» i hvit skrift eller i ekstremt liten størrelse, slik at teksten er usynlig for et menneske, men likevel plukkes opp av AI.

Metoden fikk oppmerksomhet i sosiale medier i 2024. Bemanningsselskapet ManpowerGroup rapporterte å finne skjult tekst i omtrent 10 % av CV-ene de skannet med AI. Rekrutteringsplattformen Greenhouse fant lignende skjulte prompts i 1 % av de 300 millioner CV-ene de behandler per år.

Hvordan chatboter ble manipulert til å dele privat informasjon

Et tidlig tilfelle av prompt-injeksjon mot ChatGPT involverte remoteli.io sin Twitter-bot, drevet av ChatGPT og designet for å poste positive kommentarer om fjernarbeid. Brukere oppdaget at de kunne poste instruksjoner som ba boten ignorere sitt opprinnelige formål, og den endte opp med å komme med absurde offentlige uttalelser.

Nylig demonstrerte sikkerhetsforskere at OpenAIs ChatGPT Atlas-nettleseragent kunne kapres gjennom skjulte instruksjoner plantet i e-poster. I ett testtilfelle fikk en ondsinnet e-post med en innebygd prompt agenten til å sende en oppsigelse til brukerens sjef i stedet for å utarbeide et fraværssvar som ble bedt om. Brukeren så aldri den skjulte instruksjonen, men AI fulgte den likevel.

Hvorfor bør vanlige brukere bry seg om prompt-injeksjon?

Prompt-injeksjon kan manipulere AI-verktøy uten at du vet det. Når et AI oppsummerer et dokument eller skriver en e-post, henter det informasjon fra eksterne kilder. Hvis noen av disse kildene er manipulert, kompromitteres AIs resultat — uten at du merker det.

Det er derfor prompt-injeksjon skiller seg fra andre nettbaserte trusler. Du trenger ikke å klikke på en lenke eller laste ned noe mistenkelig. Du stiller et helt vanlig spørsmål, og svaret du får tilbake kan være formet av instruksjoner noen har gjemt i det innholdet AI brukte som inndata. Det kan være relativt harmløst — et partisk sammendrag eller en lenke du ikke ba om — men i mer alvorlige tilfeller kan verktøyet lekke personopplysninger eller utføre handlinger du aldri har godkjent. Manipulerte svar ser dessuten ofte helt normale ut, uten feilmeldinger eller tydelige tegn.

Dette betyr ikke at du bør slutte å bruke disse verktøyene, men du kan ikke anta at AI-svar alltid er nøytrale og pålitelige.

Er prompt-injeksjon det samme som jailbreaking?

Prompt-injeksjon og jailbreaking er beslektede, men ikke utbytbare begreper. Jailbreaking er en form for prompt-injeksjon som spesifikt angriper sikkerhetsvern og retningslinjer. Målet er å få et AI til å ignorere innholdspolicyer eller produsere begrenset innhold.

Prompt-injeksjon er et bredere begrep. Det dekker enhver forsøk på å kapre AI-oppførsel gjennom manipulerte inndata, for eksempel å avdekke skjulte systemkommandoer eller få verktøyet til å utføre uautoriserte handlinger. Målet er ikke alltid å bryte sikkerhetsfiltre — ofte ønsker angriperen bare at AI skal utføre et annet sett med instruksjoner uten at noen merker det.

En annen viktig forskjell er hvem som rammes. Jailbreaking er som regel en bevisst handling utført av brukeren i sin egen økt. Prompt-injeksjon, spesielt indirekte og lagret varianter, kan ramme uskyldige brukere som ikke visste at innholdet de spurte om var manipulert. Det er en egen sikkerhetstrussel, og derfor plasserer OWASP prompt-injeksjon som risiko nummer én for AI-applikasjoner, i stedet for å behandle jailbreaking som en separat kategori.

Hvordan kan du forebygge prompt-injeksjon?

Det finnes ingen enkel løsning for prompt-injeksjon i dag, fordi sårbarheten springer ut av samme egenskap som gjør disse verktøyene nyttige: evnen til å følge instruksjoner. Utviklere kan ikke fjerne denne egenskapen uten å bryte funksjonaliteten brukerne trenger.

AI-utviklere arbeider kontinuerlig med å forbedre inputfiltrering, og adversarial testing hjelper, men ingenting på markedet fjerner risikoen helt.

Likevel er det mye du kan gjøre. Det meste handler om sunn fornuft:

• Hold deg oppdatert. Ikke la AI-verktøy kjøre på autopilot. Gå alltid gjennom hva verktøyet planlegger å gjøre før du lar det utføre handlinger.
• Begrens tilgang der det er mulig. Når et AI-verktøy ber om tilgang til e-posten eller filene dine, still spørsmål ved om det virkelig trenger det. Unngå å lime inn passord, økonomiske detaljer eller sensitiv informasjon i AI-chattevinduer.
• Styrk kritisk blikk på svarene. Hvis et svar inneholder en uventet lenke, anbefaler noe du ikke ba om, eller ber deg om en handling som føles feil, ta en pause før du handler.
• Hold alt oppdatert. Utviklere slipper jevnlig oppdateringer som tetter sårbarheter og styrker forsvar. Å kjøre en utdatert versjon betyr å gå glipp av disse beskyttelsene.

Hva bør du gjøre hvis et AI-verktøy oppfører seg uventet?

Hvis et AI-verktøy begynner å oppføre seg rart, stopp opp og ikke følg instruksjonene det gir. Det trenger ikke være prompt-injeksjon, men hvis noe virker feil, bør du finne ut hva som skjer før du fortsetter.

Noen ting som bør få alarmklokkene til å ringe:

• Det foreslår noe du aldri spurte om
• Lenker eller produktanbefalinger dukker opp uten at du kjenner dem igjen
• Det ber om personlig informasjon som ikke har noe med oppgaven å gjøre
• Tonen skifter plutselig midt i samtalen
• Svarene slutter å gi mening eller virker løse fra det du spurte om

Hvis noe av dette skjer, lukk økten og start på nytt. Ikke prøv å feilsøke i samme samtale, for hvis økten er kompromittert, er du fortsatt inne i den og dermed utsatt.

Deretter, gå gjennom hva verktøyet hadde tilgang til. Var e-posten din åpen? Kunne programvaren ha utført handlinger på dine vegne? Hvis noe ser mistenkelig ut, reverser endringene og endre passord umiddelbart.

Hvordan passer prompt-injeksjon inn i den bredere AI-sikkerheten?

Prompt-injeksjon står øverst på listen over AI-sikkerhetsprioriteringer fordi angrepet retter seg mot selve modellen. Det skiller seg fra phishing, skadevare og andre mer tradisjonelle angrep som rammer systemene rundt AI.

Problemet vokser. For ikke lenge siden var AI-verktøy for det meste begrenset til tekstgenerering. Nå kan de surfe på nettet, lese e-posten din, få tilgang til filer, skrive kode og utføre handlinger på vegne av brukeren. Standarder som MCP (Model Context Protocol) gjør det enda enklere å koble AI til eksterne tjenester. Jo mer disse verktøyene kan gjøre, desto større skade kan et vellykket angrep påføre.

Det handler også om omfang. Prompt-injeksjon fungerer mye som sosial manipulering, ved å få AI til å følge instruksjoner den ikke burde følge ved å presentere dem på en bestemt måte. Men i motsetning til en telefonsvindel som tar sikte på én person om gangen, kan en enkelt skjult instruksjon på en populær nettside påvirke alle AI-verktøy som leser den.

Dette betyr ikke at AI-verktøy er usikre å bruke. Men sikkerheten henger fortsatt etter i forhold til hvor raskt disse verktøyene tas i bruk, og ansvaret for sikkerheten vil fortsatt hvile tungt på sluttbrukerne.

Relaterte artikler:

• Hva er de viktigste fordelene med sikkerhetsbevissthetstrening?
• Hvilke sikkerhetsrisikoer er det ved å bruke ChatGPT?
• Hvilken påvirkning har AI-relatert nettkriminalitet på digital sikkerhet?
• Hvordan manipulerer sosial manipulering menneskelig atferd for angrep?

Anbefalte produkter:

• Kaspersky Premium
• Få en gratis 30-dagers prøve av Kaspersky Premium

FAQ

Er prompt-injeksjon ulovlig?

Det finnes ingen lov som spesifikt forbyr prompt-injeksjon. Handlingene som kan gjøres med teknikken — som å få tilgang til begrensede data og hente ut privat informasjon — omfattes imidlertid av eksisterende lover mot datakriminalitet. Den juridiske risikoen er reell, men det vil ta tid før lovgivningen tar igjen teknologien.

Kan prompt-injeksjon ramme vanlige brukere?

Ja. Hvis du bruker et verktøy som behandler eksternt innhold med AI, kan du lett bli påvirket — og du vil sannsynligvis ikke engang merke det. Det er ikke et direkte angrep mot deg som sluttbruker, fordi angrepet retter seg mot AI-verktøyet, ikke personen direkte.

Kan prompt-injeksjon stjele personopplysninger?

Ja, hvis AI-verktøyet har tilgang til personopplysninger. Enten det er e-post, filer eller andre data, kan en vellykket prompt-injeksjon instruere verktøyet til å hente ut og dele slik informasjon. Sikkerhetsforskere har allerede vist at AI-nettleseragenter kan bli lurt til å videresende sensitive dokumenter til uautoriserte mottakere.

Er prompt-injeksjon det samme som hacking?

Prompt-injeksjon er ikke tradisjonell hacking. I stedet for å utnytte sårbar kode, manipulerer den hva AI leser. Det er sosial manipulering rettet mot en maskin. Resultatet kan ligne et hack (lekkasje av data, uautoriserte handlinger), men mekanismen er grunnleggende forskjellig.