Fredag har forskere fra NVIDIA annonceret Magic3D - en kunstig intelligensmodel, der kan generere 3D-modeller ud fra tekstbeskrivelser. Efter at have indtastet en ledetråd, såsom "En blå pilegift, der sidder på en åkande", genererer Magic3D en 40D mesh-model komplet med farvetekstur på cirka XNUMX minutter. Med modifikationer kan den resulterende model bruges i videospil eller kunstscener i CGI-format.
I sin videnskabelige artikel NVIDIA ser Magic3D som et svar på DreamFusion, tekst-til-3D-modellen, som Google-forskere annoncerede i september. Ligesom DreamFusion bruger en tekst-til-billede-model til at skabe et 2D-billede, der derefter optimeres til volumetriske NeRF (Neural radiance field) data, bruger Magic3D en to-trins proces, der tager en grov model, der er oprettet ved lav opløsning og optimerer den til en højere opløsning. Ifølge artiklens forfattere kan den resulterende Magic3D-metode generere tredimensionelle objekter dobbelt så hurtigt som DreamFusion.
Magic3D kan også udføre on-the-fly redigering af 3D-masker. Med en 3D-model med lav opløsning og et grundlæggende værktøjstip kan du ændre teksten for at ændre den resulterende model. Magic3D demonstrerer også bevarelsen af det samme plot over flere generationer (et begreb, der ofte kaldes kohærens) og anvendelsen af en 2D-billedstil (såsom et kubistisk maleri) på en 3D-model.
NVIDIA frigav ikke nogen Magic3D-kode med sit forskningsarbejde.
Evnen til at generere 3D fra tekst synes at være en naturlig udvikling i moderne diffusionsmodeller, som bruger neurale netværk til at syntetisere nyt indhold efter intensiv træning på en række data. Det var først i 2022, at vi så fremkomsten af kraftfulde tekst-til-billede-modeller såsom DALL-E og Stable Diffusion, samt rudimentære tekst-til-video-generatorer fra Google og Meta.
Hvad angår Magic3D, håber forskerne bag, at det vil give enhver mulighed for at skabe 3D-modeller uden behov for særlig træning. Når først den er forfinet, kan den resulterende teknologi accelerere udviklingen af videospil (og virtual reality) og kan i sidste ende finde anvendelse i specialeffekter til film og tv. I slutningen af deres artikel skriver de: "Vi håber, at vi med Magic3D kan demokratisere 3D-syntese og låse op for alles kreative potentiale i at skabe 3D-indhold."
Du kan hjælpe Ukraine med at kæmpe mod de russiske angribere. Den bedste måde at gøre dette på er at donere midler til Ukraines væbnede styrker gennem Red livet eller via den officielle side NBU.
Læs også: