Språkteknologi och AI ska hjälpa Arbetsförmedlingen
Nationella språkbanken på institutionen för svenska språket vid Göteborgs universitet ska hjälpa Arbetsförmedlingen i sitt nya uppdrag. Under våren kommer Språkbanken att träna en ny språkmodell med hjälp av AI, väl på plats ska modellen bidra till att automatisera Arbetsförmedlingens analysarbete. Peter Ljunglöf och Dan Rosén är ansvariga för arbetet med att träna språkmodellen. -
Arbetsförmedlingen kontaktade oss med ett önskemål om att använda våra textdata, våra korpusar, för att träna en kontextuell språkmodell. Förfrågan kom väldigt lägligt eftersom vi bara några veckor innan hade diskuterat att träna just en sådan själva, säger Peter Ljunglöf.
Ska bättre förstå arbetsmarknaden
I och med januariavtalet och de nya regeringsdirektiv som följer med detta kommer Arbetsförmedlingens uppdrag att förändras. Myndigheten ska i fortsättningen fokusera på att bedöma arbetsmarknaden och att analysera de arbetssökandes behov, snarare än att förmedla arbete. Förändringen gör att man måste de hitta nya sätt att tolka arbetsmarknaden för att förstå vad som efterfrågas, vilken arbetskraft som finns och var det finns gap. Eftersom platsannonser, CV:n och ansökningar främst kommuniceras i text kommer den nya språkmodellen användas för att bättre förstå arbetsmarknaden genom automatiskt textanalys. Peter Ljunglöf igen.
- Arbetsförmedlingen har påbörjat arbetet genom att träna språkmodellen på det svenskspråkiga Wikipedia som innehåller ungefär 300 miljoner ord. I jämförelse med hur större, engelska språkmodeller tränas så är inte 300 miljoner ord inte särskilt mycket. Språkbankens korpusar består av ca 10 miljarder ord och genom att använda våra resurser så kommer vi att få en modell som är mycket mer exakt.
Automatisk textanalys med en kontextuell språkmodell
Väldigt förenklat kan man beskriva en språkmodell som en vidareutveckling av enkel statistik, men att förklara hur en kontextuell språkmodell fungerar och hur den kan tränas med hjälp av AI är desto svårare.
- Ett tidigt exempel på en språkmodell hittar man i Sture Alléns avhandling från 1970 där han med utgångspunkt i stora textmängder tog fram statistik på hur vanligt förekommande vissa ord är. Detta gjorde att han kunde ta fram de vanligaste orden, vanligaste ordparen etc. Men den modell vi pratar om här är mycket mer avancerad.
Modellen som Språkbanken nu ska träna är en kontextuell språkmodell som tränas genom att använda en relativt ny AI-teknik där djupa neurala nätverk tolkar texten för att själv komma fram till vilken information som är viktig. En kontextuell modell har möjlighet att röra sig utanför ordpar och meningar, den kan se större sammanhang och kartlägga långdistansrelationer. Dan Rosén är systemutvecklare på Nationella språkbanken och förklarar vidare.
- Genom en kontextuell språkmodell får man veta något om hur trolig en mening är i ett särskilt sammanhang. Om vi har en text som handlar om mat så kommer det kanske finnas ord som exempelvis ”pizza” och ”ost” men det kommer inte finnas andra, orelaterade ord. Genom att gå igenom stora textmängder enormt många gånger får modellen en idé om vilka meningar och ord som hänger ihop med varandra, som samförekommer.
I Arbetsförmedlingens fall skulle detta betyda att man kan analysera platsannonser för att förstå hur arbetsmarknaden ser ut och i förlängningen hjälpa både arbetssökande och arbetsgivare med hur de bör utforma annonser och ansökningar. Analyser av platsannonser skulle också kunna hjälpa till att hitta var viss kompetens saknas och därigenom ge riktlinjer för inom vilka områden arbetssökande bör kompetensutveckla sig.
En del av Språkbankens kärnverksamhet
Eftersom det tar lång tid att träna modeller av den här typen är det en stor fördel om de är anpassningsbara. På grund av detta kommer modellen som tränas för Arbetsförmedlingens räkning också att kunna användas i andra sammanhang och i andra applikationer. Öppenhet och anpassningsbarhet är dessutom några av kriterierna när Språkbanken tar på sig uppdrag.
- Det här är en del av vår kärnverksamhet – att tillhandahålla språkteknologi och resurser för andra forskare, näringsliv och offentliga organisationer – men vi gör det inte under vilka premisser som helst. Ett av kraven vi har är att allt vi utvecklar ska var öppet tillgängligt och i största möjliga mån ska gå att använda av alla, säger Peter Ljunglöf.
Arbetet med modellen förväntas pågå under hela våren med en förhoppning om en färdig produkt någon gång i sommar. Läs mer om Arbetsförmedlingens nya uppdrag och automatiseringen på Computer Sweden.