Komplex process när nästa generations självkörande bilar ska läras upp
På techföretaget Asymptotic AI pågår ett forskningsprojekt för säkrare system för självkörande bilar och assistanssystem. I projektet används en bil med sex olika kameror och även en laserscanner som mäter avstånd till objekt. Bilen kör omkring i Göteborg och samlar ihop data som ska användas för att träna AI-systemen.
Yinan Yu är en av medgrundarna till företaget Asymptotic AI, men också lektor på Institutionen för data- och informationsteknik.
– Min doktorsexamen är egentligen från området elektroteknik – mer exakt signalbehandling och maskininlärning. Att jag kom in på området maskininlärning handlade från början om mitt stora intresse för optimering. För att optimera något med hjälp av en dator, beskriver du först det mål du vill uppnå på ett sätt som en dator kan förstå, alltså i ett programspråk. Du ger datorn alla tänkbara variabler som du kan påverka och datorn kan på ett ögonblick berätta för dig vilken lösning som är optimal för just dessa variabler, säger Yinan Yu.
– För mig var optimeringsprocessen magisk, men samtidigt mycket exakt och rigorös. Maskininlärning är en vidareutveckling av området optimering – med ett ökat inslag av magi om man uttrycker det så. Fordonsindustrin blev för sådär fem-sex år sedan ett av de första områdena med mycket forskning och utveckling inom just maskininlärning och artificiell intelligens, AI.
– Jag ser det som fantastiskt att tekniken utvecklas så snabbt. Det finns så många människor numera som arbetar med kombinationen AI och fordon och det går verkligen framåt. Självkörande bilar och assistanssystem är ett superintressant ämnesområde och det finns så mycket att säga, säger Yinan Yu.
Magi och komplexitet med självkörande bilar
– När vi tränar vår testbil är det övergripande målet med hela processen att bilen ska fatta rätt beslut – beslut som en människa kan förstå och hålla med om.
– Perceptionen, alltså hantering och tolkning av information, är grunden för hela systemet med självkörande bilar. Om du inte kan uppfatta och analysera din omgivning finns inte en chans att du kan fatta rätt beslut. För perceptionsbiten behöver du två saker: du behöver se och du behöver förstå det du ser. Det gäller för levande varelser och för maskiner som använder sig av artificiell intelligens för att utföra något.
– Bilen måste alltså till att börja med ha kunskap om alla trafikregler, "förstå" vad den "ser" ute i trafik och sedan fatta rätt beslut på ett ögonblick. Det är en mycket komplex process att få till, men om det autonoma systemet är rätt byggt är fördelen att det är så mycket snabbare och också mer förutsägbart och konsekvent än en människa. Ett AI-system blir inte sömnigt, stressat och har inte några problem med koncentrationen.
Film för att digitalisera den fysiska världen
– Filmandet som sker när vi kör runt med testbilen innebär en datainsamlingsprocess där vi digitaliserar den fysiska världen omkring oss och sparar den i någon form av digitalt format. Nästan alla automatiserade övervakningsprocesser fungerar egentligen på det sättet. Datauppsättningarna från filmerna används sedan för att träna artificiell intelligens och att utvärdera våra AI-system.
– Det nystartade företag som jag är en av medgrundarna till, arbetar med det som kallas datacentrerad och människocentrerad AI. Datacentrerad AI innebär ett fokus på kvalitativ data. Under big-data-eran var det litegrann "ju mer data desto bättre", men nu är trenden att vi bara vill ha högkvalitativ data. En mycket stor mängd data ses idag snarare som en börda, du måste köra datan på en stor server till exempel, vilket innebär att mycket energi kommer att förbrukas och resurser går till spillo, säger Yinan Yu.
– Människocentrerad AI handlar om att AI på ett optimalt sätt ska tjäna människor. Den industriella revolutionen 4.0 innebar automatisering – den industriella revolutionen 5.0 har ett fokus på människor. Ur det perspektivet är frågan om övervakning mycket intressant.
Klurigt att veta när AI-systemet har rätt mängd data för det bilen ska åstadkomma
När data samlats in via testbilen under en längre tid är det dags för en data-iterationsprocess. Forskarna tittar på sin insamlade data och ser om det kan vara läge att låta processen automatiseras. Ibland ser utvecklarna att det finns luckor i den insamlade informationen, och säger kanske "ok vi behöver några fler inspelningar, vi har inte tillräckligt med regndagar och idag regnar det så dagens insamlade data kommer att bli mycket värdefull” till exempel.
– Varje utvecklingscykel där AI-systemet tränas upp är ganska lång. Du har dina uppsatta mål och alla variabler som måste ingå, men det bilen ska utföra är ändå för komplext för att det ska vara möjligt att söka efter optimala kombinationen av samtliga variabler samtidigt. Det är med andra ord mycket svårt att avgöra när du har rätt mängd data för bilens uppdrag. Vanligtvis kan forskarna ändå resonera sig fram till det. Erfarenhet och intuition kommer in i processen, i kombination med specifikationer och krav från andra utvecklingsteam, vilket gör dynamiken mycket komplex. Utvecklingen av AI-systemet behöver utvärderas med jämna mellanrum och systemet behöver till exempel uppfylla kraven från alla regelverk inom trafiksäkerhet, säger Yinan Yu.
Minutiös kartläggning av orsakssamband vid ett eventuellt misstag
– Om din testbil begår ett misstag behöver du förstås ta reda på varför. Är det ur ett maskininlärningsperspektiv – har AI-modellen kanske inte tillräckligt med data för området eller scenariot – eller är det kanske ett mer bilrelaterat problem, något som har med mekaniken att göra? Ett misstag kräver oftast en stor mängd analyser för att hitta rätt orsakssamband. En olycksdatabas kan också användas för att försöka förstå scenariot.
– Att försöka sätta sig in i ett problem som har uppstått där AI finns med som en komponent är allt annat än trivialt, menar Yinan Yu. Deep learning som AI handlar om är lite som en svart magisk låda. AI åstadkommer magi, men även som forskare kan det vara svårt att förstå varför. AI som teknologi handlar i mångt och mycket om att komprimera mycket stora datamängder och om något saknas i datamängden kommer AI helt enkelt inte att kunna göra rätt bedömningar.
– Explainable AI är därför en viktig inriktning inom forskningen. Hur kan vi säkerställa att AI-systemet kommer fortsätta att lära sig kontinuerligt ju mer värdefull data vi samlar in? Det är fortfarande en öppen forskningsfråga och ett mycket aktivt och viktigt forskningsfält. Du vill inte ha ett system som inte kan fortsätta att utvecklas, säger Yinan Yu.
En självkörande bil kräver ett stort samarbete mellan olika kompetenser
De säkerhetsexperter som finns med i utvecklingsprocessen är förstås inte samma personer som AI-experterna i teamet. Processen att utveckla en självkörande bil är ett lagarbete som är svårare än vad folk kanske tror.
– Bilföretagen verkar ofta tänka "Vi tar spetskompetens från AI-området och sätter ihop den med spetskompetens inom säkerhet och sedan skapar vi något helt fantastiskt". Men ibland blir det ändå bara halva effektiviteten från båda grupperingarna, då de behöver navigera eftersom de talar så olika språk. Det här kan vara en stor utmaning ur social synpunkt. Varje bilföretag tar det senaste inom AI och det senaste inom säkerhet och sedan det är upp till dig som forskare att få grupperna att fungera ihop – och dessutom bedriva din egen forskning – för att göra allt det här till ett sammanhängande system.
Filmerna från datainsamlandet behöver ofta sparas en längre tid för analys
– Det vanliga när man har ett självkörande fordon som filmar omgivningen är att man sparar inspelningarna för att använda dem i utvecklingssyfte. Analysen av data är avgörande för kvaliteten på de system som byggs och mycket viktig för säkerheten. Men det behövs fortfarande större volymer av datainsamling och ytterligare AI-utveckling innan man kan använda självkörande fordon mer allmänt, säger Yinan Yu.
– Det finns många scenarier som kan bli mycket kritiska inom fordonsindustrin, där man inte har utrymme att tillåta sig misslyckas. Det är därför självkörande fordon inte har satts ut på vägarna ännu, vi har inte riktigt kontroll över dem, säger hon.
– Du tränar din AI-modell under lång tid innan den sätts in i en bil för att testa systemet i trafik. Forskarna startar processen med att göra ett mycket stort antal simuleringar i sina datorer. Vid något tillfälle bestämmer de sig för att resultaten är tillräckligt bra för att modellen ska kunna testas i en bil. För att få göra tester i trafik krävs också först olika certifikat så det är tydligt vem som är ansvarig för bilen och dess handlingar.
Svårt att komma runt integritetsproblemen under filmandet
– GDPR är en sak som måste beaktas när vi tränar upp vårt forskningsfordon. Att filma och spela in folk på gatan är helt klart ett integritetsintrång, men eftersom vi kör runt med kameror på bilen går det inte att undvika att filma människor. En lösning kan vara att ha tydlig information på bilen om att man blir inspelad när den passerar, säger Yinan Yu.
– Vi har även konstruerat en anonymiseringsprogramvara som suddar både människors ansikten och de registreringsskyltar som fastnat på film. Men det räcker inte alltid med att göra människors ansikten suddiga, det går att känna igen dem ändå utifrån deras kroppsform, kläder och annat. Det finns flera andra anonymiseringsprogram som Asymptotic AI använder sig av i sin forskning och produktutveckling. Programmen kan till exempel sudda ut en hel kropp och enligt Yinan Yu är utvecklingen av nya versioner av de här programmen ett nödvändigt steg.
Det är fortfarande inte helt kartlagt vad det finns för möjliga konsekvenser av att man samlar in, analyserar och sparar filminspelningar av människor ute på gatorna. Lagstiftningen kring den här typen av inspelningar är ännu inte fullt utvecklad, vilket lämnar utrymme för osäkerhet.
Ofullständig representation en utmaning
En annan utmaning som Yinan Yu ser är att AI lätt bygger in skev representation i den data som används.
– Om det finns många unga på gatorna i din träningsdata till exempel och AI-systemet har lärt sig att förstå hur ungdomarna rör sig, så urskiljer systemet just den kategorin bättre. Under en träningsrunda med bilen kan en äldre person dyka upp som troligen inte kommer att identifieras lika lätt av systemet, eftersom äldre rör sig långsamt och så vidare. En partisk datainsamling kan som synes bli mycket farlig...
– Problemet med inbyggd partiskhet i datamängder är något jag verkligen skulle vilja arbeta vidare med. Det kan uppstå problem om inte alla gruppers behov kommer med när man ska bygga ett säkert stads-och fordonsassistentsystem, säger Yinan Yu.
Assisterad körning eller självkörande bil?
En del utvecklare satsar på helt autonom körning där bilen själv måste fatta besluten i trafiken. Andra tror mer på AI i form av assisterad körning, där bilen hjälper föraren med sådant som autobromsning och liknande funktioner.
– Personligen tror jag kanske mer på självkörande kollektivtrafik än på ett scenario där alla åker runt i varsin självkörande bil – det är för mycket av en lyx, haha! Vi behöver också tänka på hållbarhet och miljö.
Intervju: Catharina Jerkbrant/Agnes Ekstrand, 2023
