Følgende artikel hjælper dig med: Nvidia afslørede Magic3D, en ny tekst-til-3D-indholdsskaber
Nvidia har annonceret Magic3D, en tekst-til-3D-indholdsskabersoftware. Softwaren omdanner tekstbeskrivelser af objekter til tredimensionelle (3D) digitale modeller. Softwaren er baseret på et neuralt netværk, der er blevet trænet på et stort datasæt af 3D-modeller. Det kan frembringe 3D-modeller fra et enkelt 2D-billede eller en serie af 2D-billeder.
Magic3D er et nyt tekst-til-3D-indholdsoprettelsesværktøj, der producerer højkvalitets 3D-mesh-modeller. Vi giver brugerne nye måder at kontrollere 3D-syntese på, og åbner nye veje til forskellige kreative applikationer ved at kombinere billedbehandlingsteknikker og en prompt-baseret redigeringstilgang. Fra tekstinput-prompter kan Magic3D producere 3D-teksturerede mesh-modeller af højeste kvalitet. Det gør brug af en groft-til-fin-teknik til at lære 3D-repræsentationen af målmaterialet ved at kombinere diffusions-forskrifter med lav og høj opløsning. Magic3D skaber 3D-ting dobbelt så hurtigt som DreamFusion og overvågning af otte gange bedre opløsning.
Udviklere kan ændre dele af den underliggende tekstprompt, der genererede den grove model, og derefter finjustere NeRF- og 3D-mesh-modellerne for at producere et redigeret højopløsnings-3D-mesh.
Det kan optimere 3D-modellerne med de medfølgende prompter og finjustere diffusionsmodellerne med DreamBooth givet inputbilleder til et motivforekomst. 3D-modellerne kan effektivt bevare emnets identitet.
AI bruger et to-trins grov-til-fin optimeringssystem til at producere tekst-til-3D-materiale, der er både hurtigt og af fremragende kvalitet. I det første trin bruger den en diffusion med lav opløsning, før den producerer en grov model, som vi derefter accelererer ved hjælp af et hash-gitter og sparsom accelerationsstruktur. I anden fase anvender modellen en tekstureret mesh-model, der initialiseres fra den grove neurale repræsentation for at muliggøre optimering ved hjælp af en latent diffusionsmodel med høj opløsning i forbindelse med en effektiv differentierbar renderer.
Læs mere:
