Meta's nieuwe Make-a-Video AI kan snelle filmclips genereren op basis van tekstprompts

Meta onthulde in juli zijn Make-a-Scene tekst-naar-beeld generatie AI, die net als Dall-E en halverwege de reis, maakt gebruik van machine learning-algoritmen (en enorme databases met geschraapte online illustraties) om fantastische afbeeldingen van geschreven prompts te maken. Op donderdag onthulde Meta CEO Mark Zuckerberg Make-a-Scene's meer geanimeerde tijdgenoot, Make-a-Video.

Zoals de naam al aangeeft, is Make-a-Video "een nieuw AI-systeem waarmee mensen tekstprompts kunnen omzetten in korte videoclips van hoge kwaliteit", schreef Zuckerberg in een Meta-blog donderdag. Functioneel werkt Video op dezelfde manier als Scene - vertrouwend op een mix van natuurlijke taalverwerking en generatieve neurale netwerken om niet-visuele prompts in afbeeldingen om te zetten - het trekt alleen inhoud in een ander formaat.

"Onze intuïtie is eenvoudig: leer hoe de wereld eruit ziet en hoe deze wordt beschreven aan de hand van gepaarde tekst-beeldgegevens, en leer hoe de wereld beweegt vanuit onbewaakte videobeelden", schreef een team van Meta-onderzoekers in een onderzoekspaper dat donderdagochtend werd gepubliceerd. Hierdoor kon het team de hoeveelheid tijd verminderen die nodig was om het videomodel te trainen en de noodzaak voor gepaarde tekst-videogegevens te elimineren, terwijl "de uitgestrektheid (diversiteit in esthetische, fantastische afbeeldingen, enz.) Van de huidige modellen voor het genereren van afbeeldingen behouden bleef. ”   

Zoals met bijna al het AI-onderzoek van Meta, wordt Make-a-Video uitgebracht als een open-sourceproject. "We willen nadenken over hoe we nieuwe generatieve AI-systemen zoals deze bouwen", merkte Zuckerberg op. "We delen dit generatieve AI-onderzoek en deze resultaten openlijk met de gemeenschap voor hun feedback, en zullen ons verantwoorde AI-raamwerk blijven gebruiken om onze benadering van deze opkomende technologie te verfijnen en te ontwikkelen." 

Zoals bij schijnbaar elke generatieve AI die wordt uitgebracht, is de kans op misbruik van Make-a-Video niet klein. Om mogelijke snode shenanigans voor te zijn, heeft het onderzoeksteam preventief de Make-a-Video-trainingsdataset van NSFW-beelden en giftige frasering verwijderd.