Startsida
Nyheter
Blogg
Vem ljuger och vem kan avgöra vad som är sant?

Vem ljuger och vem kan avgöra vad som är sant?

Publicerad 16 december 2022

Vilka risker och utmaningar medför syntetisk media, som deepfakes, och vad kan vi vänta oss framåt? Den nya chattboten ChatGPT har blivit en enorm snackis samtidigt som gränslandet mellan vad som är robot och vad som är människa suddas ut allt mer. Anton Lif och Henrik A-Twetman är specialiserade på informationspåverkan och delar med sig av trender, hot och insikter inom området.

(Ett tips till läsaren; På flera ställen i texten finns länkar med mer information, ta gärna del av innehållet om du vill fördjupa dig.)

Utveckling och användande av syntetiska media blir allt mer utbredd i takt med att tekniken blir bättre och mer tillgänglig. Ofta handlar det om manipulerade videos och foton, så kallade “deepfakes”, där AI-modeller kan generera bildmaterial med hög realism. Det kan också inkludera annan media, såsom ljud och text.

Ord som “AI” och “maskininlärning” får det ofta att låta komplicerat men många har redan använt sig av enklare applikationer av syntetisk media. Till exempel genom lättillgängliga appar, som ger verklighetstrogna genererade bilder, men också av kommersiella lösningar som kan generera texter som ser ut och låter som de är skrivna av en människa. Två lösningar är ”Imagen” från Google och ChatGPT från OpenAI.

Några aktuella exempel på hur tekniken kan användas är:

Syntetiska ansikten upplevs trovärdiga

Det finns flera anledningar till att syntetisk media är användbar. För det första är det ofta svårt att med bara ögat upptäcka om en text, bild eller video är manipulerad. Även om vi är benägna att tro att vi är bra på att se igenom manipulerat material finns det forskning som visar att vi överskattar vår förmåga. Det är extra lätt att missa om du är stressad eller om den syntetiska produkten uppträder i en miljö där vi inte förväntar oss den. Dessutom har vi en benägenhet att uppleva syntetiska framställda ansikten som mer förtroendeingivande än verkliga. Det kan bero på att syntetiska ansikten tenderar att se ut mer som genomsnittliga ansikten, som i sig anses mer pålitliga.

Det som är mest utmanande är sannolikt syntetisk text, för ett textmeddelande får i regel inte samma uppmärksamhet som ett videoklipp. Vår förmåga att upptäcka syntetisk text verkar dessutom vara lägre jämfört med vår förmåga att upptäcka annan manipulation .

Det finns stora utmaningar och risker, exempelvis när syntetisk media använts av antagonister för att påverka beslutsfattande, få tillgång till känsliga system, smutskasta individer och organisationer samt begå brott. Samtidigt hittar opportunister ständigt nya användningsområden för exempelvis syntetiska ansiktsbilder. Det är svårt att avgöra vad som är legitimt. Är det okej att aktörer som bedriver sälj- och marknadsföring liksom rekrytering använder sig av syntetiska profiler? Är det rimligt att använda en AI-genererad profilbild om man vill vara anonym på nätet? Gränsdragningen mellan harmlös användning av ny teknik och säkerhetsrisker är svår.

Syntetiska ansiktsbilder är redan vanligt förekommande vid bedrägerier, påverkansoperationer och spionage. Antalet profiler i sociala medier med falska profilbilder är oöverskådligt. Bara på Facebook raderas eller blockeras flera miljarder konton årligen, många av vilka använder syntetisk media för att få tillgång till plattformen och manipulera användare.

Några uppmärksammade exempel på bedrägerier är:

I en rapport från tankesmedjan Carnegie Endowment for International Peace listar Jon Bateman 10 riskscenarier på temat deepfakes och det finansiella systemet, scenarier som är applicerbara på även andra sektorer.

Imorgon - vilka risker och hot väntar?

I takt med att både tekniken och infrastrukturen utvecklas kommer tillämpningarna av syntetisk media öka lavinartat. Den tilltagande hastigheten och bandbredden som utbyggnaden av 5G nätet innebär kommer exempelvis göra denna typ av modeller mer tillgängliga för allmänheten. En intressant framtidsspaning är dramat Project 2030 från cybersäkerhetsföretaget Trend Micro.

Trender och risker att hålla koll på

Smarta bild- och texmodeller tenderar att bli bias (en term som ofta används inom psykologi och beskriver hur vi ofta har en förutfattad mening i en fråga). Det gäller chatbotar (exempelvis ChatGPT) liksom text-bild modeller. Bias finns där hela tiden, men den stora skillnaden är att en robot kan skapa så mycket mer än en människa. I stället för exempelvis en nedvärderande eller snedvriden text så kan en robot producera och sprida tusentals texter. Det här säger rätt mycket; “A 280 billion parameter model developed in 2021 shows a 29 procent increase in elicited toxicity over a 117 million parameter model considered the state of the art as of 2018.” (The AI Index Report)
Det finns studier som påvisar riskerna med syntetiska bilder i form av satellitfoto. Tänk dig scenarier där en antagonist kan manipulera flygfoto- eller satellitfoto för att påverka ett förlopp eller ett samhälle.
Användning av deepfakes för att ta sig förbi biometriska spärrar, exempelvis att manipulerade ansikten kan kringå ansiktsigenkänning. Ett forskningsteam i Japan har visat hur AI-modeller kan användas för att extrahera fingeravtryck från “selfies” på sociala medier, som potentiellt skulle kunna användas för att kapa någons identitet.
Svårigheten med förstärkare – ”Sound boxes”. Kombinationen av allt mer trovärdiga deepfakes och annan ny teknik såsom 5G, och snart 6G, skapar förutsättningar för att både snabbt generera högkvalitativt innehåll och sedan sprida det med hög hastighet och i enorm skala. Hur ska ett förtag eller myndighet hantera en situation där alla anställda blir uppringa samtidigt av vad de tror är deras chef men det är i själva verket ett storskaligt deep voice-angrepp?
Den tekniska utvecklingen leder oss mot en immersive (uppslukande) verklighet eller XR (eXtended Reality). Potentiella risker och utmaningar är bland annat att vi kommer dela med oss av alltmer personliga data. I XR kan det vara möjligt att utifrån faktorer som kroppsspråk, puls, pupillrörelser och hudrodnad med mera genomföra allt mer skräddarsydd påverkan. Dessutom, hur ska vi se skillnad på vem som är människa och vem som är robot?

Tips och råd att ta med dig

Analyser era förutsättningar och risker. Vilka hot finns och vilka är hotaktörerna? Ta hänsyn till området desinformation och syntetisk media i er säkerhetsskyddsanalys och ert Risk Management-arbete.
Förtroende är allt. Identifiera vilka målgrupper som är särskilt sårbara och/eller kritiska för att verksamheten ska fungera. Betrakta medarbetare, varumärke och förtroende som kognitiva skyddsobjekt och bygg förtroende inom (och utanför) er verksamhet innan en incident uppstår.
Öka medvetenheten och bygg personliga brandväggar. Genomför informations- och utbildningsinsatser för att höja medvetenheten, så ökar er motståndskraft. Att strukturerat exponera individer för felaktig och vilseledande information och göra dem medvetna om det har visat sig ha goda effekter. Något som även forskare vid Google studerat.
Säkerställ analysförmåga. Etablera, upprätthåll och vidareutveckla en egen förmåga till OSINT (online-undersökningar), IT-forensik och webbanalys.
Nyttja möjligheten med “Red Team Testing”, som innebär att en grupp experter testar verksamheten för potentiella sårbarheter ur flera perspektiv. Ett Red Team kan bestå av såväl egna medarbetare som utomstående experter och är en vanlig metod inom cybersäkerhet. Ett uppmärksammat exempel på hur denna metod kan användas inom andra områden kommer från en grupp forskare som testade hur soldaters användning av sociala medier avslöjade känslig information under en övning.

Kontakt och mer information

Tycker du syntetisk media låter intressant eller kanske skrämmande? Ta gärna kontakt med oss om du eller din verksamhet vill veta mer eller behöver rådgivning inom det här område:

Anton Lif, Crisis Management, Combitech

Henrik A-Twetman, Executive Advisory, Combitech

(Kontaktkort finns till höger på webbsidan, där texten börjar.)