Wie KI-Synchronisation funktioniert
Fünf Schritte, jeder mit eigener Fehlerquelle, dazu der Ablauf unserer Pipeline: die Zeiten, und was auf jeder Stufe mit deiner Datei passiert.
Eine KI-Synchronisation besteht aus fünf aufeinanderfolgenden Schritten, nicht nur aus einem: Spracherkennung, Sprechertrennung, Transkription und Übersetzung, Stimmensynthese und die zeitliche Anpassung an das Original.
Zu wissen, welcher Schritt was tut, ist kein unnützes Wissen. Wenn eine Synchronisation fehlerhaft ist, liegt das meist an einem ganz bestimmten Schritt, und die Lösung hängt komplett davon ab. Die meisten Erklärungen behandeln das Thema wie eine Blackbox, sodass du bei einem enttäuschenden Ergebnis ratlos dastehst.
Hier sind die fünf Schritte und der genaue Ablauf unserer eigenen Pipeline, inklusive aller Zahlen.
Schritt 1: Spracherkennung
Das System erkennt die Quellsprache direkt aus dem Audio selbst.
Du musst sie nie selbst angeben. Es gibt im Produkt überhaupt kein Eingabefeld für die Ausgangssprache. Das ist eine bewusste Designentscheidung und kein Versehen: Die Audiodatei enthält bereits die Antwort. Dich danach zu fragen, würde nur eine unnötige Fehlerquelle schaffen.
Fehlerquelle: Eine Datei, deren Anfang in einer anderen Sprache als der Hauptteil gehalten ist, oder eine Aufnahme mit so wenig deutlicher Sprache, dass das System keine Grundlage für die Erkennung hat. Wenn eine Synchronisation in der falschen Sprache zurückkommt, solltest du die ersten 30 Sekunden deines Uploads überprüfen.
Schritt 2: Sprechertrennung
Die Sprache wird von allen anderen Geräuschen isoliert, und die einzelnen Sprecher werden voneinander getrennt.
Dieser Schritt entscheidet bei unsauberen Dateien über die Qualität. Hier legt sich fest, ob eine Aufnahme sauber verarbeitet werden kann oder nicht. Hintergrundmusik im selben Frequenzbereich wie die Stimme, starker Hall oder durcheinandersprechende Personen machen die Trennung ungenau, und jeder folgende Schritt leidet darunter.
Fehlerquelle: Unverständliches Durcheinandersprechen und Sätze, die der falschen Person zugeordnet werden. Unser System gibt keine feste Sprecheranzahl vor, das Modell muss das selbst herausfinden. Der Artikel über die Synchronisation von Videos mit mehreren Sprechern zeigt dir, was du selbst steuern kannst. Wie du dein Audio vor der Synchronisation optimieren kannst, hilft dir bei der Vorbereitung, um die meisten Fehler zu vermeiden.
Schritt 3: Transkription und Übersetzung
Die isolierte Sprache wird in Text umgewandelt und dieser anschließend in die Zielsprache übersetzt.
Diese zwei aufeinander aufbauenden Schritte können Fehler verstärken: Ein falsch verstandenes Wort wird so zu einer selbstbewusst gelieferten Fehlübersetzung. Zudem hat hier die inhaltliche Bedeutung Vorrang vor der Sprechdauer, was direkt zum Problem in Schritt 5 führt.
Fehlerquelle: Fachbegriffe, Produktnamen und Eigennamen. Wenn ein Transkriptionsmodell deinen Produktnamen nicht kennt, macht es daraus das ähnlichste existierende Wort, und die Übersetzung überträgt genau diesen Fehler fehlerfrei in die Zielsprache.
Schritt 4: Stimmensynthese
Der übersetzte Text wird eingesprochen. Dabei wird eine Stimme verwendet, die direkt aus dem Quellaudio generiert wird, statt eines Standard-Sprechers.
Es gibt keinen Registrierungsschritt und kein gespeichertes Stimmenprofil. Das einzige verfügbare Material ist die von dir hochgeladene Datei. Deshalb wirkt sich eine schlechte Audioqualität der Quelle hier genauso aus wie in Schritt 2. Unser Artikel über die Frage, ob die KI-Synchronisation deine eigene Stimme beibehält erklärt, was die Technologie leisten kann und was nicht.
Fehlerquelle: Eine monotone Betonung oder ein Stimmencharakter, der im Laufe einer langen Datei abweicht. Das lässt sich meist darauf zurückführen, mit welchem Ausgangsmaterial Schritt 2 arbeiten musste.
Schritt 5: Zeitliche Anpassung
Die synthetisierte Sprache wird an den Zeitverlauf des Originals angepasst.
Hier liegt das strukturelle Problem der gesamten Branche: Eine originalgetreue Übersetzung eines Satzes dauert selten genauso lang wie das Original. Dieser Schritt ist also immer ein Kompromiss zwischen zeitlicher Präzision und inhaltlicher Vollständigkeit. Keine Technologie der Welt kann einen längeren Satz in eine kürzere Lücke pressen, ohne Kompromisse einzugehen.
Fehlerquelle: Asynchronität (Drift). Am Anfang klingt alles passend, aber in den letzten Minuten weicht der Ton sichtbar ab, weil sich kleine Unterschiede aufsummieren. Warum synchronisiertes Audio asynchron wird, erklärt, warum dies eher ein Problem der Textlänge als der eigentlichen Synchronisation ist.
Was unsere Pipeline tatsächlich tut, Schritt für Schritt
Die meisten Anbieter beschreiben nur das theoretische Konzept, nicht aber ihre eigene Umsetzung. Hier ist unser genauer Ablauf, Schritt für Schritt und mit konkreten Zahlen.
Beim Upload. Die Datei wird paketweise verarbeitet (jeweils 1 MB), sodass nie unbegrenzte Datenmengen im Arbeitsspeicher liegen. Wir prüfen die Dateiendung gegen 17 unterstützte Formate. Die Dateigröße wird doppelt gegen das Limit von 2 GB geprüft: einmal anhand der angegebenen Größe und ein weiteres Mal, während die Bytes eingehen. Die Dauer wird direkt aus der Datei im Speicher ausgelesen, sie wird nie auf die Festplatte geschrieben, und mit unserem Limit von 180 Minuten abgeglichen. Schlägt eine dieser Prüfungen fehl, wird der Upload abgelehnt. Bis hierhin wird dir nichts berechnet, da noch keine Abrechnung stattgefunden hat.
Die Datei wird gespeichert, ein Auftrag mit dem Status "ausstehend" angelegt und du erhältst eine Kostenschätzung.
Bei Bestätigung. Die Credits werden über eine Datenbanksperre auf Zeilenebene abgezogen, sodass zwei gleichzeitige Anfragen nicht dasselbe Guthaben doppelt verbrauchen können. Die Datei wird abgerufen und an den Synchronisationsdienst übermittelt.
Der Dienst gibt seine eigene Messung der Audiodatei-Dauer zurück, die von unserer abweichen kann. Diese Differenz wird sofort ausgeglichen: Ist sie länger, werden zusätzliche Credits berechnet; ist sie kürzer, erhältst du die Differenz zurück. Die Abrechnung erfolgt immer auf Basis der tatsächlich gemessenen Audiominuten, nicht nach unserer Schätzung. Der Artikel über die Berechnung von Synchronisationsminuten erklärt die genauen Regeln.
Schlägt die Übermittlung fehl, werden die eben abgezogenen Credits sofort erstattet und der Auftrag wird direkt als fehlgeschlagen markiert.
Während der Verarbeitung. Der Auftragsstatus wechselt auf "in Verarbeitung" und eine automatische Abfrage startet. Sie prüft den Synchronisationsdienst alle 10 Sekunden, mit einem harten Limit von 6 Stunden. Es gibt keinen Zustand, in dem ein Auftrag ewig hängen bleibt: Bei Erreichen des Zeitlimits wird er als fehlgeschlagen markiert und erstattet.
Falls der Server während eines Auftrags neu startet, bricht die Abfrage ab. Beim Systemstart suchen wir nach allen Aufträgen, die noch als "in Verarbeitung" markiert sind, und starten für jeden Auftrag mit einer aktiven ID eine neue Abfrage. Ein System-Update mitten in deinem Auftrag führt also nicht dazu, dass dein Auftrag oder deine Credits verloren gehen.
Bei Erfolg. Die fertige Audiodatei wird heruntergeladen, in deinem Konto gespeichert und dein ursprünglicher Upload sofort gelöscht. Der Auftrag wird mit einem Zeitstempel für die Fertigstellung als "erledigt" markiert.
Danach. Deine Synchronisation bleibt 90 Tage lang abrufbar und wird anschließend unwiderruflich gelöscht. Deine hochgeladene Quelldatei ist ohnehin innerhalb eines Tages gelöscht. Archiviere wichtige Dateien also rechtzeitig.
Bei Fehlern. Alle abgebuchten Credits werden automatisch erstattet und der Auftrag wird als fehlgeschlagen angezeigt. Das gilt für Fehler beim Synchronisationsdienst ebenso wie für das Zeitlimit von 6 Stunden. Zur Fehlerbehebung hilft dir unser Leitfaden Was tun, wenn die Synchronisation fehlerhaft ist.
Wie lange dauert es?
Länger als eine reine Transkription, kürzer als das Limit von 6 Stunden, und direkt proportional zur Länge deiner Datei.
Das Limit ist für absolute Ausnahmefälle gedacht und entspricht nicht der normalen Bearbeitungszeit. Ein kurzer Clip ist schnell fertig. Ein Video von 90 Minuten lässt sich jedoch nicht in 2 Minuten synchronisieren, wer das erwartet, wird schnell ungeduldig.
Was das System nicht kann
Das sollte man offen ansprechen, da die meisten Erklärungen diesen Teil gerne auslassen.
Es lässt sich nicht manuell steuern. Es gibt in der Benutzeroberfläche keine Möglichkeit, Anweisungen zu geben: Du lädst eine Datei hoch, wählst die Zielsprache aus, das ist alles.
Es lässt sich nachträglich nicht korrigieren. Die Synchronisation läuft vollautomatisch von Anfang bis Ende ab, ohne manuellen Zwischenschritt. Einzelne fehlerhafte Sätze können daher nicht auf Anfrage korrigiert werden. Nur über die Optimierung deiner Ausgangsdatei kannst du das Ergebnis beeinflussen.
Es kann einen längeren Satz nicht ohne Kompromisse in eine kürzere Lücke pressen. Das ist das in Schritt 5 beschriebene Problem, und eine Eigenschaft von Sprache, nicht der Software.
Und es kann dir nicht sagen, ob dein übersetzter Slogan im Zielmarkt unpassend oder missverständlich klingt. Das ist eine Aufgabe für Menschen, die dort leben.
Erste Schritte
Ein Auftrag verarbeitet immer eine Datei und eine Zielsprache. Der ehrlichste erste Schritt ist daher ein Test mit einer echten eigenen Datei in eine Zielsprache, statt eines künstlichen Testclips. Unsere sprachspezifischen Leitfäden zeigen dir die Praxis: Die Synchronisation von E-Learning-Inhalten von Englisch auf Deutsch oder die Synchronisation von YouTube-Videos von Deutsch auf Spanisch sind zwei beliebte Einstiegspunkte. Alle weiteren findest du in der Übersicht der Anwendungsfälle.
Häufige Fragen
Wie funktioniert KI-Synchronisation?
In fünf Schritten: Erkennung der Quellsprache aus dem Audio, Trennung der Sprache von Hintergrundgeräuschen, Transkription und Übersetzung, Synthese einer neuen Stimme basierend auf dem Original und die zeitliche Anpassung an das Original. Jeder Schritt hat eigene Fehlerquellen. Bei einer fehlerhaften Synchronisation musst du daher herausfinden, an welchem Schritt es genau lag.
Wie lange dauert eine KI-Synchronisation?
Das hängt von der Länge der Datei ab. Unsere Abfrage prüft alle 10 Sekunden mit einem harten Limit von 6 Stunden. Dieses Limit ist für absolute Ausnahmefälle gedacht, nicht für die normale Dauer. Kurze Clips sind schnell fertig, eine Datei in Spielfilmlänge benötigt entsprechend Zeit.
Muss ich angeben, in welcher Sprache meine Datei vorliegt?
Nein. Die Quellsprache wird automatisch aus dem Audio erkannt, es gibt kein Feld dafür. Du wählst lediglich die Zielsprache aus, eine Zielsprache pro Auftrag.
Was passiert nach der Synchronisation mit meiner Datei?
Deine hochgeladene Quelldatei wird gelöscht, sobald die Synchronisation fertiggestellt ist, spätestens jedoch nach einem Tag. Die fertige Synchronisation bleibt 90 Tage lang abrufbar und wird danach dauerhaft gelöscht. Lade sie also rechtzeitig herunter und archiviere sie.