"Hei ChatGPT, hvorfor skal vi bry oss om The AI Act?"

Skrevet av Espen Rahd. En redigert utgave ble publisert på Digi 1. mai 2023

Oppdatering 21.06.2023

Europaparlamentet har vedtatt sin forhandlingsposisjon om AI-loven. Forhandlinger med Rådet om den endelige utformingen av loven er nå i gang. Følgende er også lagt til:

1) Fullstendig forbud mot AI for biometrisk overvåking, følelsesgjenkjenning og prediktivt politiarbeid.

2) Krav om at generative AI-systemer som ChatGPT oppgir at innholdet er AI-generert.

3) Betrakter AI-systemer som brukes til å påvirke velgere i valg som høyrisiko. 

I tillegg ble det i mai lagt inn at det er forbudt å manipulere med vilje, at AI som brukes til å administrere viktige systemer som energi- eller vannsystemer er høyrisiko, og spesielt hvis det kan føre til alvorlige miljøproblemer. Anbefalingssystemene til store nettplattformer anses også som høyrisiko.

Hvis sensitiv informasjon som seksuell orientering eller religiøse overbevisninger behandles av høyrisiko AI, er det ekstra sikkerhetstiltak. Høyrisiko AI-systemer må også registrere sin miljøpåvirkning og følge europeiske miljøstandarder.

 

Hva er The AI Act (AIA)?

EU har nok en gang satt seg i førersetet. Med lanseringen av Artificial Intelligence Act (AIA) i april 2021, har EU igjen tatt en ledende rolle i å regulere den digitale verden og tatt et betydelig skritt mot kontroll av bruken av kunstig intelligens.

Hovedformålet med AIA er å beskytte EU-borgere mot risikoen for urettferdig eller forstyrrende bruk av AI. Lovforslaget ble introdusert etter en periode med forslag og forhandlinger, hvor også norske virksomheter kom med sine innspill. Og som med GDPR, vil det vanke bøter for virksomheter som ikke etterlever det nye regelverket. Norge vil adoptere forordningen via EU/EØS samarbeidet. Og det er nå vi har et handlingsrom for å spisse lovverket til norsk «standard». Er det for eksempel greit å bruke AI i NAV systemet for å avdekke trygdesvindel?

AI, robotikk, maskinlæring – hvordan henger det egentlig sammen?

«Artificial Intelligence (AI)», Kunstig intelligens (KI) her hjemme, betyr utvikling av datasystemer som kan lære av tidligere erfaringer (menneskelig) og løse kompliserte problemer (umenneskelige) i ulike miljøer og situasjoner. Det har over lengre tid vært åpenbart at AI gir nye og store fordeler for industri og samfunn, og i senere tid har dette blitt synlig også for «vanlige brukere». En av grunnen til den ekspansive AI-utviklingen er teknologifremskritt og kostnadsreduksjon på datakraft og lagring.

Men selv om AI og ChatGPT er på alles lepper, blir diskusjonen fort komplisert og vanskelig når man beveger seg inn på teknologiene bak disse systemene. Definisjonen på kunstig intelligens er i utvikling slik som AI teknologien. Nylig kom EUs ekspertgruppe frem til en foreløpig enighet om en generell definisjon av AI-systemer. Nasjonal strategi for kunstig intelligens har oversatt denne til norsk.

Figur 1: Forenklet oversikt over hva som inngår i kunstig intelligente systemer Kilde: Independent High-Level Expert Group on Artificial Intelligence set up by the European Commission

Kunstig intelligente systemer utfører handlinger, fysisk eller digitalt, basert på tolkning og behandling av strukturerte eller ustrukturerte data, i den hensikt å oppnå et gitt mål. Enkelte AI-systemer kan også tilpasse seg gjennom å analysere og ta hensyn til hvordan tidligere handlinger har påvirket omgivelsene.

The AI Act – organisering og formål

Artikler

AIA er bygget opp med en risikobasert tilnærming. Forenklet kan man dele de 85 artiklene inn i tre deler:

• Generelle bestemmelser og definisjoner
• Regulering av høyrisiko kunstig intelligens
• Konformitetsvurdering, tilsyn og håndhevelse

Annex

Det refereres blant annet til disse ni vedleggene:

• I.Kunstig intelligens-teknikker og tilnærminger
• II.Liste over unionsharmoniseringslovgivning
• III.Risikostyring og risikoreduserende tiltak
• IV.Informasjon som skal gis til brukere og krav til gjennomsiktighet
• V.Krav til registrering av data
• VI.Konformitetsvurderingsprosedyre basert på intern kontroll
• VII.Konformitet basert på vurdering av kvalitetsstyringssystem og vurdering av teknisk dokumentasjon
• VIII.Informasjon som skal sendes inn ved registrering av høyrisiko AI-systemer i samsvar med artikkel 51
• IX.Unionslovgivning om IT-systemer i stor skala på området for frihet, sikkerhet og rettferdighet.

Lovgivningen definerer kravene for utvikling, utplassering og bruk av kunstig intelligens (AI) innenfor EU. Dette inkluderer forbud mot noen former for høyrisiko AI-systemer, og regulering av andre for å sikre at de er trygge, pålitelige og at menneskerettighetene er beskyttet. Høyrisikoapplikasjoner, som for eksempel ansiktsgjenkjenning i offentlige områder og autonome kjøretøy, vil være underlagt strengere krav enn lavrisikoapplikasjoner, som for eksempel «vanlige» chatbots.

I tillegg har AIA som mål å fremme innovasjon og forskning, noe som krever åpenhet og samarbeid på tvers av landegrenser.

Krav

Under har vi listet noen av de viktigste kravene og hovedprinsippene i det nye lovverket.

• Registrering: AI-systemer på det europeiske markedet, skal registreres hos en nasjonal myndighet
• Risikovurdering: Risikovurderinger under hele utviklingen (livsløpet)
• Kvalitetssikring: Styringssystemer for å sikre at systemene fungerer som tiltenkt og oppfyller kravene i AIA
• Dokumentasjon: Dokumentasjon på funksjonalitet, hva slags data som brukes og hvordan de blir behandlet
• Rapportering av avvik: Avvikshåndtering og varsling
• Menneskelig tilsyn: AI-systemer som brukes til å ta beslutninger som kan ha store konsekvenser for enkeltpersoner eller samfunnet som helhet, skal være underlagt menneskelig tilsyn
• Beskyttelse av personopplysninger: EUs personvernregler (GDPR)
• Begrensning av biometrisk identifisering: Begrenses til svært spesielle situasjoner for å beskytte personvernet
• Avsløring av AI: Brukervarsling slik at vi vet vi kommuniserer med en maskin
• Samarbeid med tilsynsmyndigheter: Samarbeide med nasjonale tilsynsmyndigheter for å sikre at systemene er i samsvar med lovgivningen og kravene i AIA
• Krav til transparens: Det skal være krav til åpenhet rundt hvordan AI-systemer fungerer

Prinsipper

Følgende prinsipper skal i tillegg sikre at AI-teknologi blir utviklet og brukt ansvarlig, og at det tas hensyn til, og respekterer, samfunnsinteresser og menneskers rettigheter.

• Menneskelig kontroll og tilsyn: Mennesker skal beholde kontrollen og gi nødvendig tilsyn
• Ikke-diskriminering: AI-systemer skal ikke diskriminere på grunnlag av kjønn, rase, religion, alder, funksjonshemning eller andre personlige egenskaper
• Personvern og databeskyttelse: AI-systemer skal respektere personvernet og personopplysningene til brukerne, og sørge for at dataene blir behandlet på en sikker og pålitelig måte
• Transparens: Brukere skal ha rett til å vite når de kommuniserer med et AI-system, og når beslutninger er tatt av systemet. Det skal være åpenhet rundt hvordan AI-systemer fungerer og hvordan beslutninger blir tatt.
• Robusthet og sikkerhet: AI-systemer skal være robuste og sikre, og ha egenskaper som gjør dem i stand til å motstå angrep, feil og andre uforutsette hendelser
• Miljømessig bærekraft: AI-systemer skal utformes for å minimere miljøbelastningen og bidra til en bærekraftig utvikling
• Ansvarlighet: Utviklere og leverandører av AI-systemer skal holdes ansvarlige for eventuelle skader som forårsakes av systemene, og det skal være klare retningslinjer for hvordan skader skal kompenseres og hvordan ansvar skal fordeles mellom ulike aktører i AI-økosystemet

Regulering av risiko

AIA inneholder fire risikokategorier som identifiserer ulike nivåer av risiko knyttet til utvikling og bruk av kunstig intelligens.

• Uakseptabel risiko: Bruk av kunstig intelligens som kan true folks liv, helse og sikkerhet, diskriminere, og undergrave grunnleggende personvernsrettigheter
• Høy risiko: Bruk av kunstig intelligens som kan ha stor innvirkning på samfunn eller individer, for eksempel i sektorer som transport, helsevesen og energi
• Begrenset risiko: Bruk av kunstig intelligens som kan ha mindre innvirkning på samfunn eller individer, for eksempel automatiserte chatbots
• Minimal risiko: Bruk av kunstig intelligens som har en begrenset eller ingen innvirkning på samfunn eller individer, for eksempel automatiske stavekontroller i tekstbehandlingsprogrammer

Direktivet har som mål å regulere kunstig intelligens i de to øverste risikokategoriene, det vil si høy og uakseptabel risiko. I disse kategoriene, vil det være krav til risikovurdering, sertifisering, dokumentasjon og tilsyn. Målet er å sikre at kunstig intelligens utvikles og brukes på en trygg og ansvarlig måte, samtidig som det tas hensyn til menneskerettigheter og personvern.

 

Det er viktig å merke seg at risikokategorien til et produkt eller tjeneste vil avhenge av en rekke faktorer, inkludert bruksområde, konfigurasjon, og hvordan systemet beskytter personopplysninger og andre sensitive data.

Kan The AI Act temme trusselaktørene?

Om ting er lov eller ikke bryr som kjent ikke trusselaktørene seg om. De tar ikke hensyn til risikogrupper og lovverk. Så er det her den store cyber-krigen vil utspille seg? Og hvilken skade kan trusselaktørene utrette med AI?

Vel, i tillegg til å gjøre nesten alle typer av dagens angrepsmetoder mye mer effektive, bringer AI også med seg nye sårbarheter og angrepsflater. I 2026 vil all (des)informasjon på internett være AI produsert ifølge Interpol. Vi må derfor våge å tenke nytt og lære.

For å sikre at vi opererer innenfor lovens rammer, utvikles det derfor regler, beste praksiser og rammeverk. Ved å bruke anerkjente internasjonale standarder og retningslinjer, er målet å oppnå en felles forståelse av hva som er akseptabelt, og hvordan man kan beskytte seg mot de nye utfordringene på tvers av landegrenser og kulturer. Dette vil bidra til å styrke sikkerheten og ikke minst tilliten til teknologien i et stadig mer globalt og sammenkoblet samfunn. Vi må blant annet ta i bruk https://atlas.mitre.org/ og innhente informasjon om nye taktikker og teknikker for sikkerhetstesting, i tillegg til at «nye» ord og utrykk stadig dukker opp.

Trusselaktørene trenger ikke lenger bryte seg inn for å gjøre skade. De kan manipulerer algoritmer og de enorme datamengdene og datasettene i maskinlæringsmodeller. Slike hendelser kan være vanskelige å oppdage før det er for sent, og de beslutningene AI-systemet da tar, kan være katastrofale.

AI-systemer er sårbare for en rekke angrep, og disse angrepsvektorene er utformet for å utnytte svakhetene i AI-modeller og data som brukes til å trene dem.

Det er viktig å være klar over disse angrepsvektorene og implementere passende sikkerhetstiltak for å beskytte seg.

• Adversarial examples: Spesialutformede inngangsdata som er utformet for å villede et AI-system til å gi en feilaktig respons.
• Model extraction: Å stjele eller kopiere en AI-modell fra en annen organisasjon eller en tredjepart, for eksempel en skytjeneste.
• Evasion attacks: Å manipulere eller forstyrre en AI-modells inngangsdata for å unngå deteksjon eller å endre resultatet.
• Backdoor attacks: Å legge til en skjult funksjonalitet i en AI-modell som kan utnyttes senere.
• Data extraction attacks: Å stjele sensitiv informasjon fra et AI-system eller datasett.
• Poisoning attacks: Å manipulere treningdataene som brukes til å utvikle en AI-modell, slik at modellen gir feilaktige resultater eller kan misbrukes senere.
• Membership inference attacks: Å gjenkjenne om en bestemt person eller dataeksempel ble brukt i trening av en AI-modell.
• Model inversion attacks: Å gjenopprette enkelte treningseksempler eller personopplysninger fra en AI-modell ved å analysere modellresultatene.
• Generative adversarial attacks: Å bruke to AI-modeller, en som genererer falske data og en annen som prøver å skille de falske dataene fra de ekte dataene.
• Trojan attacks: Å legge inn en skjult og ondsinnet funksjonalitet i en AI-modell som kan aktiveres senere.
• Dataset manipulation: Å manipulere treningdataene som brukes til å utvikle en AI-modell, for eksempel ved å legge til eller fjerne data for å påvirke modellens resultater.
• Model manipulation: Å manipulere selve AI-modellen, for eksempel ved å endre vektingen av forskjellige funksjoner eller ved å legge til nye funksjoner.
• Transfer learning: Å utnytte en eksisterende AI-modell til å trene en ny modell, som kan inneholde skadelig funksjonalitet eller gi feilaktige resultater.
• Watermarking attacks: Å legge inn et skjult merke i en AI-modell for å spore modellen eller hindre uautorisert bruk.
• Side-channel attacks: Å utnytte bivirkninger av en AI-modells drift, for eksempel minnebruk eller tidsbruk, for å avsløre informasjon om modellen eller treningseksemplene.

Er det for sent eller redder The AI Act dagen?

Det tok NETFLIX 3,5 år å nå 1 million brukere. Det tok 2,5 måneder for Instagram. ChatGPT brukte fem dager, og nå har de 100 millioner månedlige aktive brukere.

Det er selvfølgelig de store tech-selskapene i USA og Asia som har full kontroll og makt over dette brennhete markedet. I 2026 vil kunstig intelligens ha sitt stempel på opp mot 200 milliarder dollar bare i EU, spår flere analytikere.

Nå mener lederne i disse virksomhetene, bransjefolk og noen forskere verden over, det går for fort. De mener all forskning og videreutvikling av AI som er mer avansert enn GPT4 må stoppes i 6 måneder. I løpet av pausen er målet å utvikle og implementere en serie med felles sikkerhetsmekanismer som overvåkes av uavhengige eksperter. Og i Italia blir ChatGPT (Open AI) etterforsket for brudd på GDPR direktivet, da brukere fikk opp andres chattehistorikk når de logget inn. Trusselaktørene er som vanlig på ballen.

Å redde verden fra en AI-apokalypse ved å fryse forskning og utvikling i 6 måneder er nok ikke veien å gå, og vil være umulig å gjennomføre. Det tror jeg alle i underskriftskampanjen også vet. Men ikke vet jeg om de utaler dette grunnet en reel frykt, profitt eller for å få oppmerksomhet. Kanskje de tenker på alle arbeidstakere som kan miste jobbene sine ved en for hurtig innføring av AI?

La oss heller sikte inn på å etterleve det nye direktivet, i stedet for å implementere en global stans.

Vi ønsker heller ikke å gi Kina og andre ikke-vestlige land en fordel i denne revolusjonen? I stedet for å stoppe utviklingen av kunstig intelligens (AI), er det viktig å fremme ansvarlig og etisk AI-forskning på området. Dette betyr at vi må ta ansvar for å adressere umiddelbare bekymringer som skjevheter og diskriminering i AI-algoritmene, samt sørge for åpenhet og samarbeid i AI-fellesskapet. AIA er en hjelp på veien.

AI gir nye og store fordeler for industri og samfunn. Men med ny teknologi følger også nye utfordringer, ikke minst innenfor cybersikkerhet. Ekspertene er enige om at bruken av kunstig intelligens kan føre til alvorlige cyberangrep, og som vi allerede har sett, er det stadig flere tilfeller der trusselaktører utnytter teknologien for å oppnå sine mål. Dessverre tyder alt på at vi vil se enda flere slike angrep i fremtiden, da kriminelle og andre aktører blir stadig flinkere til å utnytte mulighetene AI gir dem.

AIA setter standarden og fremmer ansvarlig bruk

AIA kan vise seg å spille en viktig rolle i å fremme sikker, trygg og ansvarlig bruk og utvikling av AI-teknologi i Europa. Ved å sette klare retningslinjer og standarder for hvordan AI-teknologi skal utvikles og brukes, kan loven bidra til å beskytte oss mot mulige farer og sikre at teknologien brukes til samfunnets beste.

I tillegg til å ha en positiv innvirkning på europeisk AI-utvikling, kan AIA også sette standarden og starte en felles global forståelse for sikrere og mer ansvarlig bruk av AI-teknologi.

I dag brukes AI i nesten alle typer industri i en eller annen form:

• Teknologi: Google, Amazon, Facebook, Microsoft og Apple bruker teknologien til å forbedre sine produkter og tjenester, inkludert søkemotorer, stemmegjenkjenning, chatbots, personlige assistenter og automatisering av interne prosesser
• Helse: Blant annet for å hjelpe med diagnostisering og behandling av sykdommer, utvikling av nye medisiner, og forbedring av administrasjon og drift av helseinstitusjoner
• Finans: Forbedre risikostyring, bedre kundeservice (investeringsrådgivning) og forbedre svindeldeteksjon
• Produksjon: Automatisere prosesser, forbedre kvalitetskontroll, øke effektiviteten og redusere kostnader (bl.a. lønn)
• Transport: Forbedre logistikk, overvåking og vedlikehold av kjøretøy, forbedre sikkerhet og redusere ulykker
• Forsvarsindustri: Overvåkning, dataanalyse, kommunikasjon og våpen
• Jordbruk: Droner utstyrt med AI-teknologi som kan overvåke avlingenes helse og oppdage sykdom
• Media og underholdning: AI-drevne systemer for anbefaling av innhold som kan tilpasse innholdet til brukerne
• Sport: AI-drevne verktøy for dataanalyse som kan optimalisere spillerprestasjoner og lagstrategier

Det er viktig å merke seg at riktig tilnærming er avgjørende for å kunne dra nytte av de enorme mulighetene som AI-teknologi kan tilby, samtidig som man opprettholder et høyt nivå av sikkerhet. The AI Act er en god start på et etterlengtet og nødvendig lovverk.

Samarbeides det godt med eksperter og forskere på feltet, kan vi sikre at teknologien utvikles på en måte som er gunstig for samfunnet og beskytter oss mot mulige farer. Det finnes ingen trusler fra selve AI-teknologien. Det er heldigvis fortsatt vi som har kontroll og er trusselen.

Vi i Watchcom følger utviklingen nøye og vil dele våre erfaringer med utviklingen innen AI-feltet og sikringen av virksomheters verdier knyttet til dette. Dersom du har behov for et uformelt møte for å se nærmere på hvordan AI påvirker din informasjonssikkerhet er det bare å ta kontakt.