AI med mänskligt ansikte

Generative Pre-trained Transformer, GPT, finns i flera modeller. De mest omtalade, GPT3 och GPT4, är skapade av företaget Open AI och har tränats på tiotals miljarder texter. Men även i Sverige utvecklas liknande modeller, som GPT-SW3, skapad av AI Sweden, och Bert, framtagen av Kungliga biblioteket.

Även om de texter som språkmodellerna producerar verkar förvånansvärt naturliga fungerar de inte alls som mänskliga språk, förklarar Simon Dobnik, professor i datalingvistik.

– Till skillnad från människan, har modellerna ingen tillgång till den omgivande världen, utan fungerar istället genom att hitta statistiska samband i väldiga textsamlingar. Kvaliteten på ett svar beror på sannolikheten för att ordsekvenserna förekommer i den textform som modellerna lärt sig, alltså inte på hur troligt det är att något är sant i verkligheten.

Vet inget om verkligheten utanför

Språkmodellerna approximerar mening bland annat enligt fördelningshypotesen – the distributional hypothesis, förklarar Nina Tahmasebi, docent i språkteknologi.

– Hypotesen innebär att ett ord som ”stol” ofta förekommer i samma kontext som ett ord med liknande mening, som ”bord”. Betydelsen bestäms indirekt: Om ”bord” och ”stol” förekommer samtidigt i en text som beskriver världen, då finns det en verklig relation mellan orden. Däremot kan GPT-modellerna inte lista ut att en banan är gul. Det beror på att modellerna inte vet något om verkligheten utanför deras textvärld.

Riskerna med språkmodellerna

Nyligen undertecknade 1 880 forskare ett brev där de påpekar riskerna med att låta  språkmodellerna, som nu blivit så bra, ta över olika mänskliga aktiviteter.

Bild

Men det finns många andra problem, påpekar Asad Sayeed, universitetslektor i datalingvistik. 

– Jag bad nyligen GPT3-modellen att skriva något om Frankrikes kvinnliga presidenter. Som svar fick jag en text med ett antal namn som såg trovärdiga ut. När jag istället frågade om kvinnliga presidenter i Nordkorea fick jag det riktiga svaret, att det aldrig funnits några. Att svaret denna gång blev korrekt beror på att det inte finns så mycket information om Nordkorea på internet och därmed, paradoxalt nog, heller inget att bygga en felaktig slutsats på.

Höga kostnader

De väldiga språkmodeller som multinationella företag som Microsoft, Google och Open AI tar fram kostar enormt mycket, både i pengar och energi, förklarar Felix Morger, doktorand i språkteknologi.

– Språkmodellerna använder molntjänster från servrar i datacentraler över hela världen där informationen hela tiden processas. Kostnaderna är så höga att enbart de största internationella bolagen kan göra sådana satsningar – inte ens ett så stort land som USA hänger med när de globala jättarna tävlar om vem som är först och bäst på att lansera nya produkter. Det finns beräkningar som visar att träningen av GPT3 förbrukat lika mycket energi som 120 amerikanska hem gör årligen.  

Forskarsamhället behöver informationen

Riktigt hur mycket systemen kostar och vilken miljöbelastning de har, är dock hemligt, förklarar Simon Dobnik.

– Det finns heller ingen exakt information om vilket material modellerna bygger på eller om hur mycket mänsklig övervakning som finns, exempelvis av material med oönskad social bias. När denna typ av information inte delas med forskarsamhället, kan vi inte heller ta reda på om det finns sätt att bygga modeller som är lika bra, med hjälp av mindre datavolymer, mindre mänsklig interaktion och lägre miljöavtryck.

Ojämlikt textunderlag

Modellerna ger inte heller en särskilt god representation av mänskligheten.

– En överväldigande majoritet av de texter modellerna tränar på kommer från engelskspråkig västerländsk medelklass medan subkulturer eller andra kulturer och språk är dåligt representerade. Ojämlikheten späs på ytterligare av det faktum att det är människor i den rika världen som har råd att använda ny teknik och inte i särskilt hög grad medborgare i utvecklingsländer.

Det är för att hantera frågor som hur modellerna fungerar, vilken bias de innehåller och vad de kan användas till som språkteknologi och humanistisk kunskap är nödvändig, menar Nina Tahmasebi.

– Språk handlar ju inte om statistiska samband mellan olika ord utan om hur vi människor kommunicerar och relaterar till omvärlden. Därför kan kunskap om människan och hennes värld inte utelämnas ur en språkmodell.

Universitetets språkmodeller

Den forskning som bedrivs vid GU handlar om att bygga mindre språkmodeller och undersöka vad de kan lära sig om språk och mänsklig kommunikation. Med hjälp av kunskap inom lingvistik, psykologi och olika samhällsvetenskaper kan modellerna förbättras och olika bias upptäckas och motverkas. Och eftersom de modeller språkvetarna använder bygger på djupa analyser av hur språk fungerar behövs inte ett så jättelikt material som de globala företagen använder, påpekar Nina Tahmasebi.

– De är därmed möjliga att använda både för forskare och företag. Vi bygger modeller som tolkar vad som är rimligt genom att tänka på text som språk och inte bara data. På så sätt kan vi göra modeller som är billigare, mer miljövänliga och dessutom mer pålitliga. 

Projekt på Humanisten

Bland de projekt som pågår på Humanistiska fakulteten finns SuperLim 2.0, som till största delen är avslutat, berättar Felix Morger.

– Det handlar om att ta fram en samling material på svenska som kan testa modeller för språkförståelse. Testmängderna är redan tillgängliga och hemsidan för att ladda upp och jämföra resultat kommer också snart vara online.

Ett annat projekt, Mormor Karl är 27 år, handlar om pseudonymisering av forskningsdata, berättar Simon Dobnik. 

– Tanken är att skapa språkteknologiska algoritmer som upptäcker personuppgifter och känslig information i stora textmassor och ersätter orden med lämpliga pseudonymer, utan att ändra meningen i texten eller föra in mer bias.

Ytterligare ett projekt handlar om förstärkningsinlärning, ”reinforcement learning”, där maskininlärning sker genom interaktion med miljön, berättar Asad Sayeed. 

– Vi tittar bland annat på hur artificiella agenter lär sig namnge olika färger i ett gissningsspel bestående av en berättare och en lyssnare, där båda agenterna belönas när de kommer överens. 

Humanistiskt perspektiv är grundläggande

 Det humanistiska perspektivet är grundläggande för att skapa språkmodeller som verkligen är pålitliga och användbara, påpekar Nina Tahmasebi.

– Vi kan använda de texter som finns smartare och mer jämlikt, förhindra att falsk information och olika typer av fördomar sprids, och utgå från vad människor behöver snarare än vad som går att göra tekniskt. Vi är inte ute efter att sätta stopp för kommersiella produkter men menar att det är viktigt att undersöka både vad de faktiskt kan klara av och vad de är lämpliga att brukas till. Utöver att användas som en rolig gimmick, kan dessa metoder ge svar på djupa, komplexa forskningsfrågor som bidrar till samhället.

Text: Eva Lundgren

Texten publicerades först i GU Journalen, nr 2 2023