Syntestisk media, möjligheter och risker. Ta del av blogginlägget.

Vem ljuger och vem kan avgöra vad som är sant?

Vilka risker och utmaningar medför syntetisk media, som deepfakes, och vad kan vi vänta oss framåt? Den nya chattboten ChatGPT har blivit en enorm snackis samtidigt som gränslandet mellan vad som är robot och vad som är människa suddas ut allt mer. Anton Lif och Henrik A-Twetman är specialiserade på informationspåverkan och delar med sig av trender, hot och insikter inom området.

(Ett tips till läsaren; På flera ställen i texten finns länkar med mer information, ta gärna del av innehållet om du vill fördjupa dig.)

Utveckling och användande av syntetiska media blir allt mer utbredd i takt med att tekniken blir bättre och mer tillgänglig. Ofta handlar det om manipulerade videos och foton, så kallade “deepfakes”, där AI-modeller kan generera bildmaterial med hög realism. Det kan också inkludera annan media, såsom ljud och text.

Ord som “AI” och “maskininlärning” får det ofta att låta komplicerat men många har redan använt sig av enklare applikationer av syntetisk media. Till exempel genom lättillgängliga appar, som ger verklighetstrogna genererade bilder, men också av kommersiella lösningar som kan generera texter som ser ut och låter som de är skrivna av en människa. Två lösningar är ”Imagen” från Google och ChatGPT från OpenAI

Några aktuella exempel på hur tekniken kan användas är:

Syntetiska ansikten upplevs trovärdiga

Det finns flera anledningar till att syntetisk media är användbar. För det första är det ofta svårt att med bara ögat upptäcka om en text, bild eller video är manipulerad. Även om vi är benägna att tro att vi är bra på att se igenom manipulerat material finns det forskning som visar att vi överskattar vår förmåga. Det är extra lätt att missa om du är stressad eller om den syntetiska produkten uppträder i en miljö där vi inte förväntar oss den. Dessutom har vi en benägenhet att uppleva syntetiska framställda ansikten som mer förtroendeingivande än verkliga. Det kan bero på att syntetiska ansikten tenderar att se ut mer som genomsnittliga ansikten, som i sig anses mer pålitliga.

Det som är mest utmanande är sannolikt syntetisk text, för ett textmeddelande får i regel inte samma uppmärksamhet som ett videoklipp. Vår förmåga att upptäcka syntetisk text verkar dessutom vara lägre jämfört med vår förmåga att upptäcka annan manipulation.

Det finns stora utmaningar och risker, exempelvis när syntetisk media använts av antagonister för att påverka beslutsfattande, få tillgång till känsliga system, smutskasta individer och organisationer samt begå brott. Samtidigt hittar opportunister ständigt nya användningsområden för exempelvis syntetiska ansiktsbilder. Det är svårt att avgöra vad som är legitimt. Är det okej att aktörer som bedriver sälj- och marknadsföring liksom rekrytering använder sig av syntetiska profiler? Är det rimligt att använda en AI-genererad profilbild om man vill vara anonym på nätet? Gränsdragningen mellan harmlös användning av ny teknik och säkerhetsrisker är svår.

Syntetiska ansiktsbilder är redan vanligt förekommande vid bedrägerier, påverkansoperationer och spionage. Antalet profiler i sociala medier med falska profilbilder är oöverskådligt. Bara på Facebook raderas eller blockeras flera miljarder konton årligen, många av vilka använder syntetisk media för att få tillgång till plattformen och manipulera användare. 

Några uppmärksammade exempel på bedrägerier är:

I en rapport från tankesmedjan Carnegie Endowment for International Peace listar Jon Bateman 10 riskscenarier på temat deepfakes och det finansiella systemet, scenarier som är applicerbara på även andra sektorer.

Imorgon - vilka risker och hot väntar? 

I takt med att både tekniken och infrastrukturen utvecklas kommer tillämpningarna av syntetisk media öka lavinartat. Den tilltagande hastigheten och bandbredden som utbyggnaden av 5G nätet innebär kommer exempelvis göra denna typ av modeller mer tillgängliga för allmänheten. En intressant framtidsspaning är dramat Project 2030 från cybersäkerhetsföretaget Trend Micro.  

Trender och risker att hålla koll på

Tips och råd att ta med dig

  • Analyser era förutsättningar och risker. Vilka hot finns och vilka är hotaktörerna? Ta hänsyn till området desinformation och syntetisk media i er säkerhetsskyddsanalys och ert Risk Management-arbete.
  • Förtroende är allt. Identifiera vilka målgrupper som är särskilt sårbara och/eller kritiska för att verksamheten ska fungera. Betrakta medarbetare, varumärke och förtroende som kognitiva skyddsobjekt och bygg förtroende inom (och utanför) er verksamhet innan en incident uppstår.
  • Öka medvetenheten och bygg personliga brandväggar. Genomför informations- och utbildningsinsatser för att höja medvetenheten, så ökar er motståndskraft. Att strukturerat exponera individer för felaktig och vilseledande information och göra dem medvetna om det har visat sig ha goda effekter. Något som även forskare vid Google studerat.   
  • Säkerställ analysförmåga. Etablera, upprätthåll och vidareutveckla en egen förmåga till OSINT (online-undersökningar), IT-forensik och webbanalys. 
  • Nyttja möjligheten med “Red Team Testing”, som innebär att en grupp experter testar verksamheten för potentiella sårbarheter ur flera perspektiv. Ett Red Team kan bestå av såväl egna medarbetare som utomstående experter och är en vanlig metod inom cybersäkerhet. Ett uppmärksammat exempel på hur denna metod kan användas inom andra områden kommer från en grupp forskare som testade hur soldaters användning av sociala medier avslöjade känslig information under en övning.

Kontakt och mer information

Tycker du syntetisk media låter intressant eller kanske skrämmande? Ta gärna kontakt med oss om du eller din verksamhet vill veta mer eller behöver rådgivning inom det här område:

Anton Lif, Crisis Management, Combitech

Henrik A-Twetman, Executive Advisory, Combitech

(Kontaktkort finns till höger på webbsidan, där texten börjar.)

Ta gärna del av dessa länkar för fördjupad läsning

Facing Reality Law Enforcement And The Challenge Of Deepfakes. Europol Innovation Lab

View of Creating, Using, Misusing, and Detecting Deep Fakes. Journal of Online Trust and Safety (tsjournal.org)

What Companies Should Know About Disinformation. WilmerHale

Alla dessa ord - begrepp och koncept i samhällets digitalisering - YouTube

Semi-automatisk datadriven webbanalys: detektion av fabricerad media, trovärdighetsbedömning och cyberhotsbevakning.Totalförsvarets forskningsinstitut, FOI