){kind=link}
Forskere Apple har udviklet et kunstig intelligenssystem kaldet ReALM (Reference Resolution as Language Modeling), som har til formål radikalt at forbedre måden stemmeassistenter forstår og reagerer på kommandoer.
I et forskningspapir Apple beskriver en ny ramme for, hvordan store sprogmodeller adresserer problemet med referenceopløsning, som omfatter dechifrering af tvetydige referencer til objekter på skærmen, samt forståelse af samtale- og baggrundskontekst. Som et resultat kan ReALM føre til en mere intuitiv og naturlig interaktion med enheder.
Referencegenkendelse er en vigtig del af forståelsen af naturligt sprog, hvilket giver brugerne mulighed for at bruge pronominer og andre indirekte referencer i samtale uden forvirring. For digitale assistenter har denne evne historisk set været en væsentlig udfordring, begrænset af behovet for at fortolke en bred vifte af verbale signaler og visuel information. ReALM-systemet fra Apple har til formål at løse dette problem ved at gøre den komplekse proces med referencegenkendelse til en ren sprogmodelleringsopgave. På den måde kan hun forstå referencerne til de visuelle elementer, der vises på skærmen og integrere denne forståelse i samtaleflowet.
ReALM rekonstruerer skærmens visuelle struktur ved hjælp af tekstrepræsentationer. Dette inkluderer at analysere skærmobjekter og arrangere dem for at skabe et tekstformat, der afspejler skærmens indhold og struktur. Forskere Apple fandt ud af, at denne strategi, kombineret med speciel tuning af sprogmodeller til benchmark-opløsningsproblemer, overgår de traditionelle metoder markant, inklusive OpenAI's GPT-4-funktioner.
ReALM kan gøre det muligt for brugere at interagere meget mere effektivt med digitale assistenter baseret på, hvad der aktuelt vises på skærmen, uden behov for præcise, detaljerede instruktioner. Dette kunne gøre stemmeassistenter meget mere nyttige i forskellige situationer, såsom at hjælpe chauffører med at navigere i infotainmentsystemer, mens de kører eller hjælpe brugere med handicap ved at give lettere og mere præcise måder til indirekte interaktion.
Apple har allerede udgivet flere forskningsartikler inden for AI. I sidste måned afslørede virksomheden en ny metode til at lære store sprogmodeller, der problemfrit integrerer både tekst- og visuel information. Det forventes det Apple vil introducere en række AI-funktioner på WWDC-konferencen i juni.
Læs også: