1. Innledning
KI-forordningen gir et rettslig rammeverk for bruk av KI-systemer. Formålet med forordningen er å fremme utviklingen av pålitelig kunstig intelligens. Samtidig skal forordningen forsøke å regulere teknologien på en måte som ivaretar de grunnleggende rettigheter som ligger til grunn for den europeiske union[1]. Forordningen skal altså regulere KI-systemer på en måte som stimulerer til innovasjon, samtidig som den sikrer vern av demokrati, sikkerhet og innbyggernes helse.
Mangel på personell er identifisert som en hovedutfordring i fremtidens helsevesen[2]. Kunstig intelligens blir definert som en mulig løsning på dette problemet og bidra til å sikre en bærekraftig helsetjeneste[3].
Utviklingen innenfor kunstig intelligens har gått raskt og Legeforeningen erfarer at mange av våre medlemmer i stor utstrekning har tatt teknologien i bruk. Den overordnede tilbakemeldingen fra våre medlemmer er at teknologien er viktig for å kunne levere fortsatt gode helsetjenester i fremtiden. Samtidig er det nødvendig med et tydelig rammeverk som sikrer at innovasjon skjer på en forsvarlig måte som også hensyntar utfordringene ved bruk av kunstig intelligens.
2. Innføring, sanksjoner og tilsyn
2.1 Rammeverk for innføring og tilsyn
Det er nødvendig at helsesektoren innfører kunstig intelligens på en måte som sikrer en bedre, tryggere og mer effektiv pasientbehandling. Samtidig må innføringen skje på en måte som adresserer og tar i betraktning den risikoen slike systemer innebærer. Tilnærmingen må også erkjenne og legge vekt på at det på forhånd er krevende å forutse det fulle omfanget av den risikoen teknologien innebærer.
Det kan for eksempel være krevende å forutse på lang sikt hvordan bruk av kunstig intelligens påvirker kompetansen til fagpersoner[4]. Samtidig innehar teknologien funksjoner tilknyttet måten den produserer utdata (output) på, som gjør at det er nødvendig at bruken styres av fagpersoner som har mulighet til overprøve outputen. Innføringen må altså ta inn over seg både de menneskelige og teknologiske utfordringene.
For at innføringen av KI-systemer skal kunne ta inn over seg disse utfordringene er det nødvendig med en gradvis, randomisert og kontrollert utrulling som muliggjør sammenlikning av resultater ved implementering, både virkning og bivirkning. Det er videre sentralt at tilsyn skjer med et overordnet formål om å kartlegge uheldige sider ved implementering av kunstig intelligens i helsesektoren og adressere hvordan disse kan motvirkes.
Innføring av verktøy og produkter ved ytelse av helsehjelp og medisinsk behandling som inneholder KI bør skje gjennom utforming av nasjonale retningslinjer og vurderinger som benytter seg av prinsippene for metodevurderinger, i betydning en systematisk oppsummering av tilgjengelig effektdokumentasjon og analyse av hvorvidt prioriteringskriteriene nytte, ressursbruk og alvorlighet er oppfylt. Denne type metodikk bidrar til målbasert implementering ved å besvare effekt, sikkerhet og kostnadseffektivitet samt belyse evt. organisatoriske, juridiske og etiske konsekvenser. Vurdering av personellkonsekvenser innenfor rammene av ressurskriteriet vil være særskilt viktig ved vurdering av KI i helsesektoren, for å sikre at personellbesparende teknologi vektes i prioriteringsbeslutninger. Ved innkjøp, gjennom prosesser for anskaffelser og anbud bør også overordnede bærekraftsmål som klimaavtrykk og miljøbelastning også inngå som kvalifikasjonskrav, kontraktskrav eller som tildelingskriterium - i tillegg til pris.
2.2 Ansvarsfordeling for tilsyn i helsesektoren
Et forutberegnelig rammeverk og en effektiv håndhevelse er altså en forutsetning for at kunstig intelligens tas i bruk på en måte som sikrer en effektiv helsetjeneneste og ivaretar borgernes grunnleggende rettigheter. Det er derfor nødvendig at Helsetilsynet og Direktoratet for medisinske produkter som relevante tilsynsmyndigheter har kompetanse, kapasitet og ressurser for å kunne gjennomføre sine tilsynsoppgaver.
Regjeringen har besluttet at Nasjonal kommunikasjonsmyndighet (Nkom) skal ha rollen som nasjonal koordinerende markedstilsynsmyndighet og nasjonalt kontaktpunkt mot EU. Det må klargjøres hvilket organ som vil være rett klageorgan. Det må uansett etableres faste samhandlingsrutiner mellom Nkom og Helsetilsynet, med angitte kontaktpersoner som bindeledd.
2.3 Sanksjonsmuligheter for offentlig sektor
KI-forordningen delegerer til nasjonalstatene å avgjøre hvorvidt og i hvilken grad det offentlige skal kunne ilegges overtredelsesgebyr[5]. Departementet foreslår at det offentlige skal kunne pålegges slike gebyrer, oppad begrenset til angitte beløp. Dette innebærer at det offentlige ikke skal ilegges bøter som utmåles etter omsetning. Det bes om innspill fra høringsinstansene på hvorvidt det er nødvendig å legge til grunn særskilte kriterier for utmåling av overtredelsesgebyr til det offentlige.
Legeforeningen mener at det er nødvendig å presisere hvilke aktører som inngår i det offentlige i forordningens forstand. Forordningen benytter begrepene "public authorities and bodies" (EN), "offentlige myndigheder og organer" (DA) og "offentliga myndigheter och organ" (SV) uten at begrepene defineres nærmere. I høringsutkastet benyttes begrepet offentlige virksomheter.
Det norske helsevesenet preges av at private aktører i stor utstrekning leverer tjenester på vegne av det offentlige. Eksempler på dette er fastlegeordningen og avtalespesialister. Slike aktører defineres som det offentlige helsevesenet etter pasientskadeloven § 7 annet ledd. Dette åpner altså for ileggelse av sanksjoner i tråd med nasjonale retningslinjers ileggelse og utmåling av overtredelsesgebyr for det offentlige.
Disse virksomhetene vil i de aller fleste tilfeller kvalifisere som små og mellomstore bedrifter[6]. KI-forordningen innehar egne regler for utmåling av overtredelsesgebyr for slike virksomheter[7]. For disse virksomhetene vil en gitt prosentandel av omsetning utgjøre taket for overtredelsesgebyrets størrelse, dersom omsetningen er lavere enn beløpene departementet legger til grunn som tak for gebyrer som kan pålegges det offentlige[8]. Legeforeningen mener disse kriteriene også bør legges til grunn for fastleger og avtalespesialister også dersom disse anses for å utgjøre offentlig virksomhet.
Forordningen skal inneha regler som legger til rette for at også små og mellomstore bedrifter tar i bruk teknologien[9]. Dette materialiserer seg for eksempel i at utmålingen av et eventuelt overtredelsesgebyr skal hensynta overlevelsesmulighetene til små og mellomstore bedrifter[10].
Viktigheten av at små og mellomstore bedrifter tar i bruk teknologien fremstår særlig viktig i en norsk kontekst, da slike virksomheter utgjør en stor del av en helsetjeneste der bruk av kunstig intelligens er definert som en mulig løsning på fremtidens utfordring knyttet til mangel på personell. Det er altså særlig viktig at regelverket ikke motvirker at slike aktører tar i bruk nødvendig teknologi. Et eventuelt sanksjonssystem rettet mot små private helsevirksomheter som leverer tjenester innenfor et offentlig bundet pris- og finansieringssystem må utformes med høyde for nettopp disse særegenhetene. Det er neppe størrelsen på eventuelle gebyr som er det viktigste og riktigste for å styre adferd og kontrollere utviklingen. I helsetjenesten vil det personlige ansvaret regulert gjennom bl.a. helsepersonellovens autorisasjonsordning og det tilhørende forsvarlighetskravet etter vår oppfatning være mer virkningsfullt enn gebyrordninger. Det bør utvises varsomhet med å lage en gebyrordning som skaper frykt for å ta i bruk nyttige verktøy.
2.4 Et tosporet system for sanksjoner mot helsepersonell
Helsepersonell er ilagt krav til faglig forsvarlig ytelse av helse- og omsorgstjenester[11]. Forsvarlighetskriteriet stiller krav til bruk av i utstyr i forbindelse med diagnostisering, behandling og ytelse av helsehjelp. Disse kravene innebærer både krav til bruk, men også til hvilke(t) utstyr som kan benyttes[12]. KI-forordningen stiller krav til brukere av KI-systemer, og forordningen vil derfor i forbindelse med ytelse av helsehjelp innebære en presisering av forsvarlighetskravet[13].
KI-forordningen pålegger medlemsstatene å fastsette regler for sanksjoner og håndhevingstiltak[14]. Dette kan i tillegg til overtredelsesgebyr omfatte advarsler og ikke-monetære tiltak. Utmålingen skal hensynta hvorvidt andre markedsmyndigheter eller andre myndigheter allerede har ilagt overtredelsesgebyr for de faktiske forhold[15]. Brudd på helsepersonellovens plikter er sanksjonert i helsepersonelloven og innebærer i ytterste konsekvens tap av autorisasjon og straff[16].
Det vises i den konteksten til forvaltningsloven § 47 første og annet ledd:
"Dersom et forvaltningsorgan har grunn til å anta at både straff og administrativ sanksjon kan være en aktuell reaksjon mot samme forhold, må organet i samråd med påtalemyndigheten avklare om forholdet skal forfølges strafferettslig, administrativt eller både strafferettslig og administrativt.
Dersom et forvaltningsorgan har grunn til å anta at det også for et annet organ kan være aktuelt å ilegge administrativ sanksjon mot samme forhold, må forvaltningsorganet sørge for en samordning av behandlingen av spørsmålet om å ilegge sanksjoner."
Det er altså et behov for å samordne sanksjonene etter helselovgivningen og KI-forordningen. Retningslinjer for hvordan samordning skal skje følger videre av Prop. 62 L (2015-2016) side 200:
"Formålet med paragrafen er å legge til rette for at dobbeltforfølgning unngås i sanksjonssaker, noe som igjen sikrer et passende samlet reaksjonsnivå mot lovbrudd og at belastningen ved gjentatt straffeforfølgning unngås."
Formålet med sanksjonene er at disse skal virke avskrekkende[17] og dermed gi et insentiv til etterlevelse av forordningen. Departementet må altså ta stilling til hvorvidt det er nødvendig med overtredelsesgebyr for helsepersonell i tillegg til det lovpålagte ansvaret som følger av helsepersonellovens system, med tilhørende reaksjonsbestemmelser.
Etter Legeforeningens oppfatning er dette verken nødvendig eller hensiktsmessig. En mulig konsekvens av et slik tosporet sanksjonssystem er at den eventuelle risikoen ved feilbruk oppleves så stor at sanksjonssystemet virker avskrekkende. Altså slik at sanksjonssystemet potensielt kan gi disinsentiver for bruk og innovasjon, jf. ovenfor. Legeforeningen oppfatter at de nåværende reaksjonsmulighetene for helsepersonell i tilstrekkelig grad virker avskrekkende og at ytterligere sanksjoner kan ha uheldige konsekvenser for både innovasjon og pasientsikkerhet (defensiv medisin).
3. En overordnet tilnærming til trygg bruk av KI-systemer i helsesektoren
3.1. Samstilling til regulatoriske krav for bruk av KI-systemer
KI-forordningen stiller krav til leverandører av høyrisiko KI-systemer at disse innehar nødvendig CE-merking[18]. Det stilles også krav om sertifisering til importøren og distributører av slike KI-systemer[19]. Det stilles videre krav om at sertifiseringen er samordnet med andre krav til sertifisering etter annet relevant EU-regelverk[20].
For medisinsk utstyr stilles det krav om at utstyret tilfredsstiller krav til sertifisering som følger av lov om medisinsk utstyr, med tilhørende forskrifter og EU- forordningen 2017/745 inntatt i EØS-avtalen vedlegg II, kapittel XXX. Avgjørende for hva som utgjør medisinsk utstyr avhenger, blant annet, av om bruken har et nærmere angitt medisinsk formål[21]. Styrende for formålsvurderingen er produsentens intensjon. Den nedre grensen for hva som utgjør et medisinsk formål og hva som er mer administrative oppgaver er imidlertid ikke klar, noe som åpner for usikkerhet rundt hvilke systemer som krever sertifisering som medisinsk utstyr[22].
Bildet kompliseres ytterligere av at avgjørende for hvorvidt et KI-system anses å være høyrisiko i en medisinsk kontekst med tilhørende krav om CE-sertifisering er hvorvidt systemet kvalifiserer som et medisinsk utstyr hvor det stilles krav til at sertifisering skjer gjennom godkjennelse fra tredjepart[23].
KI-forordningen stiller krav til leverandører, importører og distributører av KI-systemer for å sikre riktig sertifisering. I en helsekontekst vil sertifisering normalt være betinget av at det foreligger et medisinsk formål, som igjen beror på en skjønnsmessig vurdering. Dette åpner for at det kan omsettes systemer på markedet uten tilstrekkelig sertifisering.
Samtidig er helsepersonell ilagt profesjonskrav som stiller krav til utstyret som tas i bruk ved ytelse av helsehjelp. Det er naturlig å legge til grunn at forsvarlighetskravet innebærer at det må tas i bruk utstyr med nødvendig sertifisering. Dette innebærer at uklarhet knyttet til hva som utgjør medisinsk utstyr i ytterste konsekvens kan ramme helsepersonell.
Store grupper av helsepersonell driver egen virksomhet eller er tilknyttet arbeidsgivere som ikke har ressurser til nærmere avklaring. Offentlige myndigheter må altså innta en proaktiv rolle og bidra til å avklare hva som utgjør medisinsk utstyr, og når det stilles krav til sertifisering. En slik tilnærming vil stimulere til at ny teknologi tas raskere i bruk og realisere mål om at flere arbeidsoppgaver skal kunne løses ved bruk av effektive teknologiske virkemidler.
3.2. Krav til kompetanse
KI-forordningen stiller krav til kompetanse hos brukeren av KI-systemer. Dette innebærer kjennskap til hvordan verktøyene skal benyttes og den faglige kompetansen til å tolke og overprøve den outputen som KI-systemet gir. Dette innebærer for eksempel at det utøves kontroll over inndataene på en slik måte at disse er relevante og tilstrekkelige representative med tanke på KI-systemets tiltenkte formål. Det stilles videre krav til kartlegging av risikoen bruk av KI-systemet innebærer på grunnleggende rettigheter[24].
En vellykket implementering forutsetter derfor klare retningslinjer for når brukere av KI-systemer innehar de nødvendige kvalifikasjoner for å benytte det aktuelle systemet. Det er også nødvendig at samspillet mellom de ansattes faglige kompetanse og output-en fra KI-systemet vurderes nærmere. Dette vil være særlig avgjørende i høyrisiko virksomheter som helsetjenesten. Innføring av KI-systemer vil her innebære skjerpede krav til partssamarbeid og medvirkning i helsetjenesten. For eksempel må det adresseres hvilke krav som stilles til en leges kvalifikasjoner i forbindelse med angivelse av inputdata og tolkingen av den output-en som KI-systemet generer. Dersom det for eksempel stilles krav om spesialisering innenfor det aktuelle fagfeltet er det nødvendig å vurdere hvordan dette påvirker legenes spesialisering og retningslinjer for anvendelse av KI-systemer underveis i spesialiseringsløpet.
4. Dokumentasjon av høyrisikosystemer
KI-forordningen artikkel 18 stiller krav til leverandører av høyrisikosystemer om oppbevaring av dokumentasjon om det aktuelle KI-systemet. Dette er blant annet dokumentasjon om teknologiens bruksområder, muligheter for samhandling med andre systemer, de ulike elementene i KI-systemet og utviklingsprosessen[25]. Slik dokumentasjon skal gjøres tilgjengelig for offentlige myndigheter i en tiårsperiode beregnet fra når systemet ble tatt i bruk eller ble brakt i omsetning.
Forordningen åpner for et nasjonalt handlingsrom hvor det kan fastsettes i hvilken utstrekning denne dokumentasjon fortsatt skal være tilgjengelig for offentlige myndigheter dersom den aktuelle virksomheten går konkurs eller avvikles innenfor tiårsperioden.
Legeforeningen oppfatter at små og mellomstore bedrifter utvikler egne høyrisiko KI-systemer. Dette er i tråd med forordningens system som legger opp til at slike virksomheter er sentrale i utviklingen av teknologien. Små og mellomstore bedrifter har forholdsvis stor risiko for konkurs. Legeforeningen mener derfor at det er hensiktsmessig med en forskriftshjemmel som åpner for utfyllende regulering av dokumentasjonsplikten, som sikrer at relevant dokumentasjon er tilgjengelig for nasjonale myndigheter i den utstrekning forordningen åpner for.
Med hilsen
Den norske legeforening
Jus- og arbeidsliv
Siri Skumlien
generalsekretær
Lars Duvaland
direktør
Saksbehandler: Carl Jannik Egenberg Lindbæk, rådgiver/advokat
[1] Europaparlaments- og rådsforordningen (EU) 2024/1689 fortalen punkt 1
[2] Nasjonal helse- og samhandlingsplan 2024-2027 side 16
[3] Ibid side 148
[4] https://www.dn.no/kronikk/kunstig-intelligens/ki/ai/gjor-kunstig-intelligens-oss-dummere/2-1-1694498
[5] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 åttende ledd
[6] COMMISSION RECOMMENDATION of 6 May 2003 concerning the definition of micro, small and medium-sized enterprises vedlegg 1 artikkel 2
[7] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 sjette ledd
[8] Ibid
[9] Europaparlaments- og rådsforordningen (EU) 2024/1689 fortalen punkt 109
[10] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 første ledd siste punktum
[11] Helsepersonelloven § 4
[12] Oda Bakken, "forsvarlighetsplikten ved bruk av kunstig intelligens i helsetjenesten", i Kunstig intelligens og big data i helsesektoren: rettslige perspektiver redigert av Anne Kjersti Befring og Inger-Johanne Sand (Oslo: Gyldendal, 2020) side 402
[13] Ibid
[14] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 første ledd
[15] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 syvende ledd bokstav a og b
[16] Helsepersonelloven kapittel 11
[17] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 99 første ledd annet punktum
[18] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 16 bokstav h
[19] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 23 bokstav c og artikkel 24 første ledd
[20] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 48 femte ledd
[21] EU-forordning 2017/745 artikkel 2 første ledd
[22] EU-domstolens avgjørelser i C-219/11 og C-329/16 er eksempler hvor problemstillingen har blitt adressert
[23] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 6 første ledd
[24] Europaparlaments- og rådsforordningen (EU) 2024/1689 artikkel 26 og 27
[25] Europaparlaments- og rådsforordningen (EU) 2024/1689 Vedlegg IV