Følgende artikel hjælper dig med: Tekst-til-SVG: Berkeley annoncerede en abstrakt pixel-baseret diffusionsmodel
I tekst-til-billede syntese har diffusionsmodeller demonstreret fremragende resultater. Diffusionsmodeller lærer at producere rasterbilleder af ekstremt forskellige objekter og situationer ved hjælp af enorme databaser med kommenterede billeder. Til digitale ikoner, grafik og klistermærker bruger designere dog typisk vektorrepræsentationer af billeder som Scalable Vector Graphics (SVG’er). Vektorgrafik er lille og kan skaleres til enhver størrelse.
UC Berkeley demonstrerer, hvordan man producerer vektorgrafik, der kan eksporteres som SVG ved hjælp af en tekst-konditioneret diffusionsmodel, der blev trænet på billedpixel-repræsentationer. Det opnår dette uden at bruge omfattende samlinger af SVG’er med billedtekster. I stedet vektoriserer Berkeley-forskere en tekst-til-billede diffusionsprøve og finjusterer den med et Score Destillation Sampling-tab, motiveret af nyligt arbejde med tekst-til-3D-syntese.
Eksempel genererede vektorer
Tjek det nygenererede SVG-galleri her.
Vektorgrafik er lille, men bevarer deres skarphed, når den skaleres til enhver størrelse. Forskere ved Berkeley forbedrer et billed-teksttab baseret på Score Destillation Sampling for at optimere vektorgrafik. Den DiffVG differentierbare SVG-renderer, som bruges af VectorFusion, gør omvendte billeder mulige.
Derudover tillader VectorFusion en flertrinskonfiguration, der er mere effektiv og af højere kvalitet. Denne metode starter med at tage rasterprøver fra tekst-til-billede diffusionsmodellen kaldet Stable Diffusion. Prøverne spores derefter automatisk af VectorFusion ved hjælp af LIVE. Disse prøver mangler ikke desto mindre ofte detaljer, er kedelige eller er svære at tilpasse til vektorgrafik. Forbedring af livlighed og tekstlig konsistens gennem Score Destillation Sampling.
VectorFusion kan producere pixelkunst i stil med gamle videospil ved at begrænse SVG-stier til firkanter på et gitter.
Denne tilgang kan nemt udvides til at understøtte tekst-til-skitse-generering. For at lære en abstrakt stregtegning, der nøjagtigt repræsenterer den brugerleverede tekst, tegner vi først 16 tilfældigt udvalgte streger. Derefter optimerer vi vores latente Score Destillation Sampling-tab.
Læs relaterede artikler:
