Mennesker med synshemninger ønsker seg ofte bedre digitale hjelpemidler for å finne fram, spesielt i ukjente omgivelser.
Nå har Bineeth Kuriakose funnet en praktisk og rimelig løsning med bruk av kunstig intelligens og sensorer i smarttelefoner, i sitt doktorgradsarbeid.
Kuriakose så først nærmere på navigasjonsverktøy som allerede er utviklet for personer med synshemming, og fant ut at de ofte ikke er spesielt brukbare.
Uhåndterlige løsninger
Mange av dem er avhengige av små kredittkort-store datamaskiner som Raspberry Pi, mens noen krever integrasjon med bærbare datamaskiner. Alle disse er ganske uhåndterlige for brukerne.
De krever ofte lang opplæringstid, og er ikke bærbare nok for utendørs bruk.
Det er også ofte nødvendig med en aktiv internettforbindelse, noe som gjør dem uegnet i områder med begrenset tilkobling, som garasjer og kjellere.
De fleste moderne systemer er dessuten avhengige av skyressurser, og det gir forsinkelse i databehandlingen som hindrer sanntidsnavigasjon. Noe som er en kritisk faktor når hvert sekund teller.
Mange av disse systemene prioriterer teknologi framfor å håndtere de praktiske utfordringene brukerne står overfor under navigering.
Bedre og rimeligere med kunstig intelligens og smarttelefoner
Den raske utviklingen av kunstig intelligens og stadig mer datakraft i smarttelefoner gjør det derimot mulig å utvikle mye mer brukbare løsninger.
– Denne kombinasjonen av ny teknologi kan effektivt brukes til å utvikle en navigasjonsassistent for personer med synshemming, forteller Kuriakose. Da kan løsningen også gjøres tilgjengelig for mange flere.
Statistikk fra Verdens helseorganisasjon (WHO) understreker omfanget av problemet. 200 millioner mennesker med nedsatt syn mangler tilgang til teknologiske hjelpemidler.
WHO har engasjert seg i å bedre tilgangen til høykvalitets, rimelig hjelpeteknologi for alle, overalt. Derfor vil et rimelig og brukervennlig navigasjonsystem, som gir brukeren bedre hjelp til å komme seg rundt ved å benytte seg av teknologiske fremskritt, være av stor betydning.
Lettere å navigere på egenhånd
Målet til Kuriakose har vært å gi synshemmede mulighet til å navigere uten hjelp av andre, ved å utnytte de siste teknologiske innovasjonene, spesielt innen kunstig intelligens og smarttelefonsensorer.
Planen er å gi brukerne større kontroll, slik at de kan tilpasse systemet til egne navigasjonspreferanser og stiler.– Bineeth Kuriakose
Navigasjon på smarttelefonen
Dyp læring er en type kunstig intelligens som etterligner måten mennesker tilegner seg kunnskap på.
Kuriakose samarbeidet tett med synshemmede personer, og designet og utviklet DeepNAVI. En dyplæringsbasert navigasjonsassistent på smarttelefon som kan hjelpe mennesker med synshemninger å finne fram, og på denne måten gjøre dem mer uavhengige av andre.
På denne måten læres navigasjonsassistenten opp til å oppfatte vanlige hindringer og utveier som blinde og svaksynte kan møte på.
Ved å bruke dyplæringsmodeller, identifiserer DeepNAVI hindringer i sanntid, og utnytter kunstig intelligens i smarttelefoner.
Den bruker smarttelefonsensorer for å gi detaljert informasjon om hindringer, inkludert avstand, posisjon og bevegelse.
Systemet lærte også å gjenkjenne ulike scener, for eksempel et kjøkken, et kontor, en garasje eller en gate, slik at systemet kan hjelpe brukeren med å identifisere scenen i miljøet.
Kuriakose forklarer:
– Systemet vi utviklet kan fortelle deg hva slags hindringer som er foran deg, og hvor langt unna de er. Eller om noe beveger seg eller ikke, og om det er til høyre eller venstre for deg.
DeepNAVI kan enkelt installeres som en app på Android-telefoner. Med smarttelefonen sikkert plassert i en vest, fanger den opp sanntidsvideo av omgivelsene og sender tilbakemelding til brukeren gjennom trådløse øretelefoner.
Brukertesting med personer med synshemming ga positive tilbakemeldinger om brukervennlighet. Den var lett å bære med seg, og var effektiv i bruk.
Gjennom forskningen fant Kuriakose ut at uten å bruke noen ekstra sensorer, ekstra enheter eller eksterne datanettverk, kan en smarttelefon alene brukes som assistent for å hjelpe personer med synshemming å navigere.
Brukerens behov må stå i fokus
Forskningen viser også at dersom brukernes behov og preferanser prioriteres, kan en navigasjonsassistent bli mer tilgjengelig og brukervennlig. Slik at flere kan bruke den i hverdagen med letthet og trygghet.
– En fordel med vår løsning er at den ikke trenger å være koblet til internett.
Under evalueringen spurte forskerne brukerne hvordan det føles å bruke DeepNAVI, om de kan stole på en navigasjonsassistent og hva de foretrekker: DeepNAVI alene, en hvit stokk alene eller DeepNAVI og hvit stokk i kombinasjon?
Flertallet svarte at de foretrekker kombinasjonen av DeepNAVI sammen med hvit stokk.
De la til at de ennå ikke stoler på å bruke en smarttelefonassistent alene til navigering i offentlige miljøer.
Imidlertid erkjente de at dette kan endre seg i fremtiden. Tilliten til å bruke DeepNAVI alene kan vokse med bruk og kjennskap, gitt dens evne til å gi mer omfattende informasjon om miljøet.
Mer kontroll til brukerne gjør det mer brukbart
Kuriakoses system er fram til nå en forskningsprototype. Kunnskapen han har oppnådd gjennom denne forskningen kan være nyttig for videre forskning på dette området.
Forskningen hans har fått internasjonal anerkjennelse i form av to priser for god forskning.
– Vi må fortsatt gjøre noen forbedringer i systemet, og vi trenger grensesnittdesignere som kan hjelpe til med å lage en fullt funksjonell og brukervennlig smarttelefonløsning.
– Med de spennende fremskrittene innen kunstig intelligens og utviklingen av mer avanserte dyplæringsmodeller, forventer vi at systemet kan forbedres ytterligere.
– Planen er å gi brukerne større kontroll, slik at de kan tilpasse systemet basert på egne navigasjonspreferanser og stiler. Dette vil gi brukerne mer fleksibilitet når de bruker DeepNAVI, forklarer Kuriakose.
En ekstra fordel er at den store utbredelsen av smarttelefoner, uavhengig av økonomiske forhold, kan gjøre denne teknologien tilgjengelig for en betydelig del av den blinde og svaksynte befolkningen.
Ved å fjerne behovet for et ekstra navigasjonshjelpemiddel, kan enkeltpersoner stole på smarttelefonene sine som deres primære navigasjonsassistent, noe som gjør det mye mer bekvemt.
Referanser
- Bineeth Kuriakose, Raju Shrestha, Frode Eika Sandnes; DeepNAVI: A deep learning based smartphone navigation assistant for people with visual impairments (sciencedirect.com), Expert Systems with Applications, Volume 212, February 2023, 228720.
- Bineeth Kuriakose, Raju Shrestha, Frode Eika Sandnes: Exploring the User Experience of an AI-based Smartphone Navigation Assistant for People with Visual Impairments (dl.acm.org). CHItaly '23: Proceedings of the 15th Biannual Conference of the Italian SIGCHI Chapter, September 2023, Article No.: 17, Pages 1–8.
- Bineeth Kuriakose, Ida Marie Ness, Maja Åskov Tengstedt, Jannicke Merete Svendsen, Terese Bjørseth, Bijay Lal Pradhan, Raju Shrestha: Turn Left Turn Right - Delving type and modality of instructions in navigation assistant systems for people with visual impairments (sciencedirect.com). International Journal of Human-Computer Studies, Volume 179, November 2023, 103098.
- Bineeth Kuriakose; Raju Shrestha; Frode Eika Sandnes: SceneRecog: Deep Learning Scene Recognition Model for Assisting Blind and Visually Impaired Navigate using Smartphones (ieeexplore.ieee.org). 2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 17-20 October 2021.
