Vom Storyboard zum Rendering – Schritte in der KI-VideoProduktion
Mit Nils Holgersson über schwedische Landschaften zu fliegen, sieht im fertigen Clip ganz mühelos aus. Doch dahinter steckt eine Menge Vorbereitung: Jede Kamerabewegung, jeder Flügelschlag und jedes Detail wurden vorher festgelegt. Das Rendering dauert dabei nur wenige Minuten. Die eigentliche Arbeit steckt in der Vorbereitung. Wir zeigen euch am Beispiel dieser Szene, wie wir eine solche Sequenz Schritt für Schritt aufbauen.
Wie wir bereits bei der Fahrt in die Tropfsteinhöhle gezeigt haben, werden komplexe Szenen und Kamerafahrten in KI-Videos selten alleine über einen einzelnen Prompt erstellt. Wir zeigen euch die Schritte, die wir für Nils Holgerssons Flug über schwedische Landschaften gegangen sind.
Die Idee lebt von der Perspektive
Am Anfang steht die Idee, die Storyline und eine Stilentscheidung: ein animierter Film, inspiriert von Nils Holgersson, der auf einer Gans mit dem Schwarm über Schweden fliegt. Wir sehen alles aus seiner Perspektive, im Look eines klassischen japanischen Animationsfilms mit gemalten Hintergründen. Nils sitzt ganz vorn am Hals der Gans, nur seine kleinen Hände am unteren Rand sind zu sehen, die sich am Gefieder festhalten.
Im nächsten Schritt entsteht die Landschaft. In diesem Fall haben wir mit GPT-Images schwedische Landschaftsbilder nachgeahmt und eines als Referenz ausgewählt.
Ohne Recherche fliegen Gänse wie Clipart
Im Schleppflug kann bis zu ein Fünftel der Energie eingespart werden.
Bevor wir in die detaillierte Szenenbeschreibung gehen, müssen wir verstehen, wie Gänse tatsächlich fliegen. In den ersten Tests hingen die vorderen Gänse im Bild regungslos wie auf einer Postkarte. Also haben wir recherchiert: Gänse und Kraniche fliegen hintereinander versetzt in einer V-Formation, damit die Nachzügler in der Wirbelschleppe des Leitvogels mitgezogen werden. Das heißt für die Szene: Der Flügelschlag gehört zur Formation. Zudem synchronisieren sie den Flügelschlag mit dem des Vorgängers, solange sie versetzt fliegen. Wer genau hinschaut, kann sehen, dass die Leitgans sich zwischendurch ausruht.
Die Szene entsteht in Blender mit grauen Blöcken
Die Landschaft bauen wir in Blender grob nach – eine Windmühle, ein paar Hügel, ein See. Auch die Gänse sind bewusst einfach gehalten, grau und blockig, aber in der recherchierten Formation und mit gestrecktem, waagrechtem Hals.
Die Gans bekommt eine Sedcard
Für die Gans erstellen wir Referenzen aus mehreren Ansichten: von vorn, von hinten, den Kopf im Detail. Dazu kommt der Ausschnitt von Nils, genau so, wie man ihn aus der POV sieht, also Ärmel und Hände im Gefieder. Je mehr Blickwinkel das Modell kennt, desto konsistenter wird das Ergebnis.
Die Kamera wird per Hand gesteuert
Im nächsten Schritt steuern wir mit der VirtuCamera-Extension die Blender-Kamera über das Smartphone und fliegen die Szene von Hand ab. Ein POV auf einem Tier ist kein gleichmäßiger Gleitflug: Der Körper hebt und senkt sich mit den Flügelschlägen, der Blick pendelt leicht, und wenn die Gans den Kopf dreht, beugt sich Nils unwillkürlich mit. Erst wenn man die Bewegung beim Ansehen fühlt, ist das Ergebnis zufriedenstellend.
Die Previs dient der Freigabe
Dann rendern wir die gesamte Szene als Previs: ohne Texturen, aber mit der echten Kamerafahrt und dem echten Timing. Hier prüfen wir Ablauf, Formation und Bildaufbau, und ändern wir noch Details, ohne dass Generierungen weitere Credits verbrauchen.
Der Video-Prompt: eine A4-Seite voller Details
Erst jetzt geht es zur Videogenerierung in Seedance. Previs, Landschaft, Gans und Nils' Hände werden als Referenzen einbezogen. Der Prompt dazu erstreckt sich über eine A4-Seite und folgt festen Blöcken: Eine Referenz-Map legt zuerst fest, welches Bild wofür zuständig ist, danach folgen Figuren und Umgebung, die Timeline mit Kamera, Aktion, Subtext und Ton pro Sekunde, am Ende der Look und eine Liste dessen, was sich nie ändern darf. Die Timeline beschreibt sekundengenau, was die Previs zeigt: wann die Gans geradeaus schaut, wann sie den Kopf dreht und zwinkert, wann die Gänse mit den Flügeln schlagen, wann Federn und Ärmel im Wind wehen. Gerendert ist das Video in Minuten, bei umfangreicher Vorbereitung sind dann nur wenige Durchläufe nötig.
In Figma Weave kommt alles zusammen. Den Prompt zerlegen wir dafür mit diverse Einzelabschnitte.
Finale Überarbeitung: Look und Sound
Zum Schluss bekommt das Video in der Post-Production Color-Grading und Grain, hinzu kommen noch Musik und Sounddesign.
Ihr habt Fragen rund um KI-Content, KI-Schulungen oder KI-Integration in euer Team? Schreibt uns gerne
