Følgende artikel hjælper dig med: Gen-1: AI genererer nye videoer fra eksisterende ved at kombinere prompter og billeder
RunWayML, en kunstig intelligens-startup, har meddelt et nyt produkt kaldet Gen-1, et neuralt netværk, der kan generere nye videoer fra eksisterende ved at kombinere prompter og billeder. I årevis har neurale netværk været begrænset til opgaven med stiloverførsel, som er processen med at tage et billede og anvende stilen fra et andet billede på det. Sådan får vi de trippy deep-learning style transfer videoer, hvor for eksempel et landskab er gengivet i stil med Van Goghs Starry Night.
@Midjourney / That Weird GhostNu, med Gen-1, kan neurale netværk mere end blot stiloverførsel. Det kan generere nye videoer fra bunden ved hjælp af prompter og billeder som input. Dette åbner op for en helt ny række af muligheder for AI-skabte videoer. Lige nu er videoerne genereret af Gen-1 korte og enkle. Men efterhånden som teknologien udvikler sig, kan vi forvente at se mere komplekse og realistiske videoer blive genereret af AI.
Hvad er Gen-1?
Stærke billedskabelses- og redigeringsværktøjer låses op af tekststyrede generative spredningsmodeller. Selvom disse er blevet anvendt til fremstilling af videoer, kræver de nuværende metoder til redigering af indholdet af allerede eksisterende materiale og samtidig bevare dets struktur dyr omskoling for hvert input eller afhænger af den risikable udbredelse af billedændringer mellem billeder.
Udviklere beskriver en model for struktur- og indholdsstyret videodiffusion, som ændrer film baseret på enten skriftlige eller visuelle beskrivelser af det ønskede resultat. På grund af utilstrækkelig afkobling opstår der konflikter mellem brugerleverede indholdsændringer og strukturrepræsentationer. De demonstrerer, at strukturen og indholdets integritet kan kontrolleres ved træning i monokulære dybdeestimeringer med forskellige detaljeringsniveauer.
Syntetiser nye videoer på en realistisk og ensartet måde ved at anvende sammensætningen og stilen af et billede eller en tekstprompt på strukturen af din kildevideo. Det er som at filme noget nyt uden egentlig at filme noget.
Syntetisering af en ny video ved hjælp af denne metode gør det muligt for filmskabere hurtigt at producere indhold på en omkostningseffektiv mådeAt overføre stilen af et billede eller prompt til hvert billede i en video kan være en fantastisk måde at forene dit projekt, give det et overordnet visuelt tema og skabe sammenhæng.
Gennem brug af software og kreativt design kan mockups transformeres til æstetisk tiltalende og interaktive gengivelser, der bringer brugerens vision til live.
Mockups giver designere mulighed for at visualisere deres ideer og skabe håndgribelige resultater, der kan præsenteres til gennemgangMed videoredigeringsfunktioner er det nemt at isolere dele af en video og forbedre dem med tekstbeskeder.
Anvendelse af et inputbillede eller prompt på uteksturerede gengivelser kan i høj grad forbedre deres realisme og bringe 3D-modellerne til live.
Runway Research er dedikeret til at bygge multimodale AI-systemer, der muliggør nye former for kreativitet. Gen-1 repræsenterer endnu et af vores afgørende skridt fremad i denne mission. Hvis du er en kreativ person, der ønsker at eksperimentere med fremtidens historiefortælling, kan du anmode om adgang nedenfor.
Gen-1 kan også bruges til at skabe helt nye videoer fra bunden. Den kan bruges til en række formål, herunder oprettelse af nye versioner af eksisterende film eller helt nye film. Denne nyhed vil helt sikkert begejstre filmskabere og andre kreative, som altid leder efter nye måder at flytte grænserne for deres kunst på. Med Gen-1 har de nu et nyt kraftfuldt værktøj til deres rådighed.
Evnen til at generere nye videoer fra eksisterende har en række potentielle anvendelser. For eksempel kan det bruges til at skabe nye versioner af eksisterende videoindhold, så det kan bruges til at skabe alternative versioner af scener eller optagelser, der kan være for dyre eller logistisk svære at filme.
Du kan ansøge om at bruge modellen, mens den er i beta-testning her.
Læs mere om AI:
