Udviklingen af humanoide robotter har bevæget sig i et langsomt tempo i mere end to årtier, men på det seneste har vi set flere og flere gennembrud på dette område. Som vi for nylig skrev, blev en kunstig intelligens-robot præsenteret ved MWC 2024 Amerikaog en anden udvikling, Unitree H1, slog hastighedsrekorden blandt humanoide robotter. Og nu er et spektakulært resultat af samarbejdet mellem Figure AI- og OpenAI-virksomhederne dukket op på internettet - en fantastisk video af en menneskelig robot, der nu kan føre samtaler med mennesker.
Startup Figur AI udgav en video, der viser Figur 01-robotten, der arbejder med den nye Visual Language Model (VLM). I den står figur 01 ved et bord, hvorpå der er en tallerken, et æble og en kop. Der er en tørretumbler til venstre. Og på spørgsmålet om en person, hvad robotten ser foran ham, svarer han ved at beskrive i detaljer alt, hvad der ligger på bordet.
Og så spørger manden, om han må spise noget, og robotten svarer: "Selvfølgelig", og så tager han med en behændig jævn bevægelse æblet og rækker det til manden. Efter det kommer endnu en fantastisk demonstration - en mand hælder sammenkrøllet affald fra en kurv foran figur 01 og beder robotten om at forklare, hvorfor han gjorde dette, og samtidig samle skraldet i kurven. Og han forklarer sin "tanke", mens han lægger papiret tilbage i skraldespanden. "Så jeg gav dig et æble, fordi det er den eneste spiselige genstand, jeg kunne give dig fra bordet," sagde robotten.
Virksomhedsrepræsentanter forklarede, at figur 01 bruger en præ-trænet multimodal model OpenAI, VLM, til at forstå billeder og tekster og er afhængig af stemmemeddelelser til at generere sine svar. Dette er forskelligt fra for eksempel OpenAI's GPT-4, som fokuserer på skriftlige prompter.
Den bruger også, hvad virksomheden kalder "lærte bimanuelle manipulationer på lavt niveau." Systemet koordinerer præcis billedkalibrering (ned til pixelniveau) med dets neurale netværk til bevægelseskontrol. "Disse netværk modtager billeder ved 10 Hz og genererer 24-DOF-handlinger (håndledsstillinger og fingerledsvinkler) ved 200 Hz," sagde Figur AI i en erklæring.
Virksomheden hævder, at enhver adfærd i videoen er baseret på systemlæring, så ingen bag kulisserne trækker i figur 01's tråde. Selvfølgelig er der en nuance - det vides ikke, hvor mange gange robotten gennemgik denne procedure. Måske var det hundrede gang, hvilket forklarer hans præcise bevægelser. Men under alle omstændigheder ser denne præstation spektakulær og lidt fantastisk ud.
Figur 01 afslutter nu opgaver i den virkelige verden
Alt er selvstændigt:
-Autonom navigation og kraftbaseret manipulation
- Lært visionsmodel for bindetektion og prioritering
- Reaktiv beholdermanipulation (robust til at udgøre variation)
-Generaliserbar til andre pick/place opgaver billede.twitter.com/0wFmYnq0GC— Figur (@Figure_robot) Februar 26, 2024
Læs også: