Seeing AI

Denne appen bruker kameraet på iPhonen for å gi en bruker en beskrivelse av omgivelsene. Den kan være særlig nyttig for personer med synshemming.

Seeing AI


Hvordan virker den?

Du kan velge mellom 9 ulike kanaler som beskriver ulike ting i dine omgivelser: Korte tekster (Short Text), dokument (Document), person (Person), pengesedler (Currency),  scene, farger (Colors),  håndskrift (Handwriting) og verden (World). Kanalen World finne du bare i enheter som er utstyrt med Lidar. Dette er teknologi som ved hjelp av usynlig laser kartlegger scenen rundt deg og sammen med kamerabildet lages det et tredimensjonalt bilde som appen kan utnytte for å gi en beskrivelse av hva som er rundt deg. Lidar finnes i dag i iPhone 12 Pro og Pro Max og i iPad Pro 2020 versjonen.

Appen kommer i flere ulike språk, men foreløpig ikke på norsk. Derfor er det den engelske versjonen som dukker opp når du åpner appen i en iPhone eller iPad med norsk brukergrensesnitt. Hvis du vil bruke den danske eller svenske versjonen av appen må du sørge for at et av disse språkene står foran engelsk i listen over hvilke språk som støttes av din enhet. Du finner denne innstillingen her: Innstillinger/Generelt/Språk og område/.

Innstillinger/ funksjoner

Microsoft Corp. har i noen år satset på forsking innen de man kaller Artificial Intelligence (AI) eller kunstig intelligens. Denne appen er et resultat av denne forskningen, og deler av det som finnes av løsninger i appen regnes fortsatt å være på eksperimentstadiet. Likevel kan den være nyttig, selv om noe av det som kommer ut som resultat ikke alltid stemmer helt.

Når du starter appen første gang, må du gi appen tillatelse til å bruke kameraet. Velg den kanalen du vil bruke og rett kameraet mot det du ønsker å få informasjon om. Du velger kanal i menyen nederst på skjermen. Dersom du bruker VoiceOver, markerer du menyen og stryker opp eller ned for å vandre mellom kanalvalgene, og dobbeltrykk for å åpne kanalen.

Innstillinger

Hovedmenyen til Seeing AI finner du øverst til venstre i startbildet til hver kanal. Her finner du disse valgene:

  • Browse photos: Gå til bildene du har lagret på telefonen din, for å velge et eller flere av dem og få dem beskrevet i Seeing AI.
  • Help: Veiledning i bruk av appen, og videodemoer.
  • Feedback: Send en e-post med tilbakemelding til utviklerne av appen.
  • Settings: Her finner du disse innstillingsvalgene:
    • Currency: Velg aktuell valuta. Du kan velge mellom 8 ulike valutaer, og norsk er ikke en av dem.
    • Configure Siri shortcuts: Velg Siri snaveier som kan starte funksjoner i appen. Merk: dette virker ikke med norsk Siri.
    • Configure Haptic Touch Shortcuts: Velg kanaler som kan åpnes ved å holde fingeren på ikonet til appen på Hjem skjermen.
    • Reorder Channels: Endre rekkefølgen på kanalene i appen. Her kan du også deaktivere kanalene du ikke bruker
    • Manage Lightning Av/På: Hvis valget står på vil appen slå på kameralyset på telefonen når det er nødvendig å bruke det.
    • Speech.
    • Select voice: Velg stemmene du skal bruke i appen. Påvirker ikke VoiceOver stemmen.
    • Talehastighet.
    • Show newest photo first Av/På: Vis den nye bildet først når du leter blant bildene dine på telefonen.

Slik virker den enkelte kanal

  • Short Text: Kort tekst leter etter tekster i kameravinduet, og vil starte opplesingen straks den finner noe som kan leses opp. Nede til høyre i kamerabildet finner du en knapp du kan trykke for å velge språk for opplesing
  • Document: I denne kanalen søker kameraet etter objekter som ser ut som tekst skrevet på papirark. Du blir veiledet av appen slik at du får hele arket innenfor kameravinduet, og straks det skjer vil du bli bedt om å holde kameraet rolig, og dokumentet blir skannet inn. Denne prosessen går ganske raskt, og du blir sendt videre til et vindu som viser teksten som ble funnet i dokumentet. Denne kan du få lest opp ved å trykke på avspillingsknappen. Her finner du også en deleknapp for å kunne sende teksten til andre apper, skrive den ut, kopiere den, eller sende den til noen andre. Du kan også velge bokstavstørrelse i visningsvinduet. Øverst til venstre finner du en tilbakeknapp. Nede til høyre i kamerabildet finner du en knapp du kan trykke for å velge språk for opplesing.
  • Product: Her vil kameraet lete etter strekkoder. Dersom den finner en strekkode, vil du høre et lydsignal og en melding om at koden prosesseres. Hvis produktet blir funnet, vil du få informasjon om hva produktet heter, produktnummer med mer. Noen produkter har også en mer detaljert beskrivelse, og denne kan du få tilgang til ved å trykke på knappen nederst til høyre. Her er det også mulig å få teksten lest opp eller dele teksten. Merk: Strekkoder på norske dagligvarer ble ikke gjenkjent da vi prøvde ut denne kanalen.
  • Person: I denne kanalen leter kameraet etter ansikter. Når den finner et ansikt vil appen fortelle deg det, og du kan trykke på kamerabildet for å få vite mer om personen; avstand til personen, kjønn, følelsesuttrykk og omtrentlig alder. Du kan lagre bildet i bildedatabasen din hvis du vil. I Innstillingene kan du legge inn ansikter og knytte dem til navn.
  • Currency: Denne delen av appen gjenkjenner foreløpig pengesedler fra 8 ulike valutaer.
  • Scene: Dette er en kanal som foreløpig er på eksperimentstadiet. Pek kameraet mot det du vil vite noe om og ta et bilde ved å trykke midt på skjermen. Du vil så få høre hvordan bildet har blitt tolket av appen. Her kan du også velge å lagre bildet.
  • Color: Dette er en kanal som foreløpig er på eksperimentstadiet. I denne kanalen vil det dukke opp et lite kvadrat midt i kameravinduet. Appen vil så fortelle deg hvilken farge som er den dominerende innenfor dette kvadratet. Dersom det er to farger som deler kvadratet, vil du få høre navnet på to farger.
  • Handwriting: Dette er en kanal som foreløpig er på eksperimentstadiet. Kameraet ser etter håndskrevet tekst, og vil forsøke å tolke denne når den har blitt funnet. Virker foreløpig dårlig på norsk.
  • Light: Du vil høre en tone mens du peker med kameraet. Appen vil reagere på lyskilder og det høyeste toneleiet representerer den sterkeste lyskilden.
  • World: Som nevnt over vil du kun finne denne kanalen på enheter som er utstyrt med lidar. Denne kanalen kan hjelpe deg å gjøre deg kjent på steder du ikke har vært før. Bruk stereo hodetelefoner for å få best nytte av denne muligheten. Kanalen vil gi beskjed når den har gjenkjent objekter i kamerabildet, og den vil lagre posisjonene. Hvis du vil bli ledet til et bestemt objekt, kan du finne det i listen over gjenkjente objekter og bli ledet til det ved hjelp av lydsignaler. Skann rommet ved at du sakte flytter på telefonen med skjermen mot deg. Pass på at ansiktet ditt peker i samme retning som telefonen. I høretelefonene kan du høre hvilke objekter som er funnet, og stereolyden hjelper deg til å høre hvor de befinner seg i forhold til deg. Det virker som navnet på objektet kommer fra det stedet hvor det befinner seg.  Etter at du har skannet rommet kan du trykke knappen “Spatial Summery” som vil navngi alle objekter som er gjenkjent rundt deg. Hvis du har hodetelefonene på deg, vil du kunne høre hvor de er i forhold til din posisjon. Denne kanalen er i eksperimentfasen, og det anbefales at man bruker den med forsiktighet.

Kompatibilitet

Kompatibel med iPad, iPhone og iPod touch.

Veiledning til bruk av appen

Utvikleren  har laget denne videoen med en bruker av appen:

Presentasjon av appen fra Yngve Stiansen fra Youtubekanalen “Hverdagsteknologi for synshemmede”:

Tilgjengelighet

Skjermleser

Relaterte apper

TapTapSee Aipoly Vision KNFB Reader

Beskrevet av Frank Lunde