Lipsync

Lipsync, deutsch Lippensynchronität, bezeichnet die Übereinstimmung von sichtbarer Mundbewegung und gehörtem Ton. Sie ist der empfindlichste Punkt jeder Produktion mit sprechenden Menschen, weil schon eine Abweichung von wenigen Hundertstelsekunden auffällt, ohne dass man sagen könnte, warum.

Drei Fälle, die oft verwechselt werden

Erzeugtes Sprechen: Eine generierte Figur spricht einen Text. Kurze Sätze gelingen gut, lange Passagen in Nahaufnahme bleiben aufwendig.
Nachvertonung: Eine gedrehte Aufnahme bekommt eine neue Tonspur in derselben Sprache. Der Klassiker aus dem Film, heute Routine.
Übersetzung mit Mundanpassung: Eine echte Person spricht plötzlich Englisch, und die Lippen passen dazu. Das verändert das Bild einer realen Person und braucht deren Zustimmung, siehe Deepfake.

Wo es heute scheitert

Je länger eine Einstellung dauert und je näher die Kamera am Gesicht ist, desto sichtbarer werden Abweichungen. Problematisch sind außerdem starke Emotionen, schnelles Sprechen und Laute, die im Deutschen eine deutliche Mundform haben. Ein Satz gelingt fast immer, ein Monolog über dreißig Sekunden selten.

Unsere Empfehlung in solchen Fällen: Die sprechenden Passagen werden gedreht, die Welt darum herum entsteht generativ. Das ist die hybride Produktion, für die bei uns Dean Rocinante zuständig ist.

Häufige Fragen

Was bedeutet Lipsync?

Lipsync bezeichnet die Übereinstimmung von Mundbewegung und Ton. In der KI-Produktion meint der Begriff meist, dass eine generierte oder nachträglich übersetzte Sprachspur zu den sichtbaren Lippenbewegungen passt.

Funktioniert Lipsync in mehreren Sprachen?

Ja, technisch gut. Bei einem Avatar ist es unproblematisch, bei einer realen Person braucht es deren Zustimmung und je nach Fall eine Kennzeichnung. Für Schulungen in mehreren Sprachen ist das der schnellste Weg, siehe Schulungsvideo.

Wie lang darf eine sprechende Einstellung sein?

Generativ empfehlen wir bis etwa zehn Sekunden am Stück, danach lieber schneiden oder auf andere Bilder wechseln. Das ist ohnehin die bessere Erzählweise, weil ein sprechender Kopf über dreißig Sekunden selten trägt.