Algoritmer i samfunnsfag

Kan et dataprogram ha fordommer?

Skrevet av Eirik Brazier

Er digital teknologi nøytral? Programvare og apper blir ofte fremstilt og forstått som objektive rasjonelle verktøy som opererer fordomsfritt. Power-Point lar seg ikke påvirke av din hudfarge, seksuell legning, eller alder, Google Maps diskriminerer deg ikke ut fra din religion og verdisyn, eller? Denne teksten er en invitasjon til å reflektere over den digitale teknologien som i stadig større grad omgir oss. Er den så nøytral som vi liker å tro? Kan programvare og apper ha fordommer, og hvorfor er det så viktig for oss som lærere, lærerstudenter, elever, og samfunnsborgere å vite noe om akkurat dette?

Samfunnet er opptatt av de skadevirkninger digitalisering fører med seg. I skolen diskuterer vi blant annet temaer som mobilfrie-soner, skjermtid, spillavhengighet, og nettmobbing. Disse utfordringene er håndgripelige, synlige og av sosial karakter, men hva med de mer skjulte virkningskreftene som vi finner innbakt i våre digitale verktøy og strukturer som omgir oss i hverdagen? Ofte er det lett å glemme at den fysiske hardwaren, som for eksempel en datamaskin eller smarttelefon, i utgangspunktet kan gjøre svært lite for seg selv og må hjelpes til å tolke verden rundt seg. Det er nemlig vi mennesker som «fyller» maskiner med innhold i form av programvare eller algoritmer, det vil si menneskeskapte programmer. Det er også her problemene raskt kan oppstå.

La oss se nærmere på et eksempel. I løpet av de siste årene har flere produsenter utviklet en programvare som lar et webkamera «følge» eller fokusere inn på en bruker etter hvert som personen beveger seg rundt i et bilde. En praktisk innretning for mange av oss som deltar på nettmøter. For at denne teknologien skal fungere må kamera imidlertid ha hjelp av en algoritme, som gir den «øyne» for å «se» omverden, det vil si en oppskrift som må følges eller et sett med kriterier. I en algoritmisk prosess kalkuleres kontraster, fargers renhet, og glød i form av noe som kalles HSV-systemet (hue, satuaration, value). Algoritmen gir kamera muligheten til å måle ulikheter i kontraster mellom øynene, kinnbein og nese, og kamera kan derfor «følge» deg dersom du beveger på hodet (ofte omtalt som motion-tracking).

La oss forlate denne tekniske forklaringen å se nærmere på hvordan dette fungerer i møte med mennesker. Wanda Zamen og Desi Cryer jobbet sammen i elektronikkbutikk som solgte bærbare Hewlett Packard-maskiner med en slik motion-tracking programvare. I en YouTube video fra 2009 viser Cryer som er afro-amerikaner at HP-kameraene gjenkjenner hvite, men ikke svarte mennesker. For mens kameraet klarer å følge og «finne» hans hvite kollega, Zamen, virker ikke motion-tracker programmet når Cryer kommer inn i bildet. Cryer konkluderer med at den bærbare datamaskinen til Hewlett Packard er rasist, fordi den er designet for å kunne følge hvite, men ikke svarte mennesker. Da Hewlett Packard ble konfrontert med videoen, avviste de at dette var rasisme. Bedriften argumenterte for at teknologien de brukte var under utvikling og at de tok i bruk standardiserte algoritmer som noen ganger kunne ha vanskeligheter med å «se» kontraster når lysforholdene ikke var optimale.

Hewlett Packard sitt svar på påstanden om rasisme er interessant. De argumenterte for at det var algoritmen som ikke klarte å «se» Cryer, men algoritmer «ser» ikke – de gjør beregninger med utgangspunkt i HSV-systemet. Problemet er at et slikt system tar utgangspunkt i kontrastverdier og hvithet som normen, ikke ulike hudfarger. Hva kameraet «ser», er altså prisgitt menneskelige (politiske) valg som er uttrykt i en algoritme. Faktum er at en stor del av teknologi-industrien, da særlig i USA, består av mennesker som er hvite. Spørsmålet er - ville kameraet har «oversett» Cryer dersom teamet som utviklet teknologien hos Hewlett Packard var mørkere i huden?

Målet her er ikke å si at programutviklere er rasister, men i likhet med oss andre er de ofte like lite beviste på at våre handlinger og syn på verden blir formet med oss selv som utgangspunkt. I kjønnsforskning er man for eksempel opptatt av begreper som hetero-normativitet, det vil si at et heterofilt samliv er regelen for hva som forståes som «ordinært» samliv og at alle andre former for samliv er avvik fra en slik norm. Eksempelet i denne teksten tyder på at hvithet er den ubeviste normen for programutviklere og at annet er å forstå som et avvik. Problemet oppstår når vi ikke reflekterer rundt denne type problemstillinger og hvordan de er med på å underbygge hvithetsnormer, og det kan være vanskelig å legge merke til hvordan slike normer er «skrevet inn» i digital teknologi. Dermed er det duket for en ny, og mer subtil, form for digital forskjellsbehandling som viderefører eksisterende strukturelle forutinntattheter, fremhever hvithet og understreker det ikke-hvite som unormalt. Utfordringen er nemlig at algoritmer forsøker å gjøre noe som er nærmest umulig, nemlig å oversette vår menneskelig aktivitet og kultur til data og bits. Dette er blant grunnene til at vi i Fagfornyelsen og i samfunnsfag er opptatt av at elevene skal kunne reflektere over hvordan algoritmer påvirker oss som enkeltmenneske og samfunn.

Lenker

· Er HP-maskinen din rasist? https://www.youtube.com/watch?v=t4DT3tQqgRM

· Vi har alle fordommer. Her kan du teste dine https://www.ldo.no/iat

· Lær mer om ubeviste fordommer. http://www.projectimplicit.net/

· Hvem jobber i Silicon Valley? https://www.wired.com/story/five-years-tech-diversity-reports-little-progress/

Anbefalt litteratur

· Jon Cheney-Lippold, We are Data. Algorithms and the making of our digital selves, 2017.

· Clive Thompson, Coders: The Making of a New Tribe and the Remaking of the World, 2019.