Die neue Make-a-Video-KI von Meta kann schnelle Filmclips aus Texteingabeaufforderungen erstellen

Meta stellte im Juli seine Text-zu-Bild-Generierungs-KI Make-a-Scene vor, die wie Dall-E und Zwischendurch, verwendet maschinelle Lernalgorithmen (und riesige Datenbanken mit geschabten Online-Grafiken), um fantastische Darstellungen von schriftlichen Aufforderungen zu erstellen. Am Donnerstag enthüllte Mark Zuckerberg, CEO von Meta, den animierteren Zeitgenossen von Make-a-Scene, Make-a-Video.

Wie der Name schon sagt, ist Make-a-Video „ein neues KI-System, mit dem Menschen Textaufforderungen in kurze, qualitativ hochwertige Videoclips verwandeln können“, schrieb Zuckerberg am Donnerstag in einem Meta-Blog. Funktional funktioniert Video genauso wie Scene – es stützt sich auf eine Mischung aus natürlicher Sprachverarbeitung und generativen neuronalen Netzen, um nicht-visuelle Eingabeaufforderungen in Bilder umzuwandeln – es zieht nur Inhalte in ein anderes Format.

„Unsere Intuition ist einfach: Lernen Sie aus gepaarten Text-Bild-Daten, wie die Welt aussieht und wie sie beschrieben wird, und lernen Sie aus unbeaufsichtigtem Videomaterial, wie sich die Welt bewegt“, schrieb ein Team von Meta-Forschern in einem Forschungsbericht, der am Donnerstagmorgen veröffentlicht wurde. Auf diese Weise konnte das Team die zum Trainieren des Videomodells erforderliche Zeit reduzieren und die Notwendigkeit gepaarter Text-Video-Daten eliminieren, während „die Weite (Vielfalt in ästhetischen, fantastischen Darstellungen usw.) der heutigen Bilderzeugungsmodelle erhalten blieb. ”   

Wie fast alle KI-Forschungen von Meta wird Make-a-Video als Open-Source-Projekt veröffentlicht. „Wir wollen gut darüber nachdenken, wie wir neue generative KI-Systeme wie dieses bauen“, bemerkte Zuckerberg. „Wir teilen diese generative KI-Forschung und -Ergebnisse offen mit der Community, um Feedback zu erhalten, und werden unser verantwortungsvolles KI-Framework weiterhin nutzen, um unseren Ansatz für diese neue Technologie zu verfeinern und weiterzuentwickeln.“ 

Wie bei scheinbar jeder veröffentlichten generativen KI ist die Möglichkeit des Missbrauchs von Make-a-Video nicht gering. Um potenziellen schändlichen Spielereien einen Schritt voraus zu sein, hat das Forschungsteam den Trainingsdatensatz „Make-a-Video“ präventiv mit allen NSFW-Bildern sowie giftigen Formulierungen bereinigt.