複数人が話す動画をAIで吹き替える方法と注意点

複数人が話すこと自体は問題ありません。問題となるのは、複数人が同時に話すことであり、これは多くの方が想像するものとは異なる性質の課題です。

吹き替え処理のシステムが別の言語で音声を生成する前段階として、「何が話されたか」「誰が話したか」「どこで話し手が切り替わったか」の3点を特定する必要があります。交互にきれいに発言していれば、この3点をすべてクリアできます。しかし、発言が重なってしまうとこれらが一瞬で失われます。同じ瞬間に重なった2つの声はファイル内で物理的に混ざり合っているため、どのような処理を施しても、最初から混ざっていたものを完全に分離することはできません。

つまり、本当に考えるべき問いは「2人の声を処理できるか」ではなく、「音声ファイルの中で、2人が同時に話している部分がどれくらいあるか」ということになります。

発言が重なるとどうなるのか？

局所的なエラーにとどまらず、連鎖的なエラーが発生します。

声が重なっている部分では、ベースとなる文字起こしの段階で「どの言葉が誰のものか」を判定しなければなりません。ここで判定を誤ると、その間違いが翻訳に引き継がれ、さらに生成された音声にも引き継がれます。結果として、出力された動画では別の話し手のセリフになってしまいます。これは単に翻訳が不完全であること以上に、聞き手にとって大きな違和感を与えます。大まかなニュアンスがズレるだけでなく、内容そのものが間違ってしまうからです。

会話への割り込みはよくあるケースですが、ある側面においては、長く続く混ざった会話よりも厄介です。なぜなら、割り込みは非常に短いため、制作者自身が「重なり」として認識しにくいからです。ゲストの回答の裏でホストが「なるほど、そうですね」と相槌を打つだけでも、それは音声の重複になります。オチのセリフに笑い声が重なることや、前の人が話し終えるコンマ数秒前に次の人が話し始めることも同様です。

話し手の人数自体は、それほど重要ではありません。4人が順番にきれいに話しているファイルの方が、2人が常に発言を被らせながら話しているファイルよりも、はるかに簡単に処理できます。

話し手の人数を指定することはできるのか？

指定はできません。そしてこれが、よく求められる解決策の適用を不可能にしています。

私たちは送信するのは、ファイル、対象言語、そして1つのフラグの3つだけです。この3つのパラメータの中に「話し手の人数」は含まれていないため、それをシステムに伝える方法はありません。モデル自身がファイル内に何人の声が存在し、それらをどう処理するかを判断しており、私たちがお客様に代わってこれを上書きすることはできません。

また、処理完了後に手を加える手段もありません。サポートページにも記載されている通り、吹き替え作業は最初から最後まで自動で処理され、完了後に手動で編集を行うことは一切ありません。そのため、間違った話し手に割り当てられたセリフを修正することや、崩れてしまった重複部分をピンポイントで補修することは不可能です。

これが制約のありのままの事実です。お客様がコントロールできるのは、アップロードするファイルそのものだけであり、それ以外の要素はありません。

アップロードする前に改善できることは？

書き出した動画ファイルだけでなく、編集プロジェクトの手元データがあるなら、できることはたくさんあります。

マルチトラック（個別の音声トラック）がある場合は、それを使用してください。 参加者ごとに音声を個別に保存できる収録ツールを使ったリモートインタビューであれば、一人ひとりの声が完全に分離した音源を入手できます。これは最高のインプットとなります。ミックスされた音声しかないと思い込む前に、現在の収録環境がマルチトラックの書き出しに対応していないか確認してみる価値はあります。

不要な相槌や被りを取り除いてください。 他の人が話している最中の「ふむふむ」や「はい」といった不要な相槌は、情報としては価値がない一方で、音声の重複を引き起こします。これをカットする手間だけで、ファイル内の最も処理が困難な部分をあらかじめ取り除くことができます。

会話の流れが許せば、話し手の境界でファイルを分割してください。 長いインタビューを、それぞれ1人の話し手だけが含まれるセグメントに分割して吹き替えることで、重複の問題を完全に回避できます。ただし、これには実際のコストがかかります。セグメントごとに独立したジョブとなり、料金はファイルごとに1分単位で切り上げられます。たとえば、50分のインタビューを4分10秒ずつの12個のセグメントに分割すると、計60クレジットが請求されます（1ファイルをまとめて処理した場合は50クレジットです）。

ファイルではなく、収録環境を整えてください。 残響音（エコー）は話し手同士の境界を曖昧にしますが、収録後にこれを取り除くことは困難です。将来的に吹き替えを行うことが決まっているコンテンツを制作する場合は、収録スペースの音響対策を真剣に検討する強力な理由になります。

吹き替え前のインプットに関するその他の対策については、吹き替えに適した元音声の準備方法に詳しく解説されています。

難易度の高いファイルでは、どのような結果が予想されるか？

私たちの製品が対応している32言語や配信フォーマットによって結果は大きく異なるため、コンテンツのタイプに応じて予想を立てておくことが重要です。

台本があり、順番にきれいに発言する2人の会話動画であれば、通常は良好な結果が得られます。司会者がしっかりとコントロールしているパネルディスカッションでも、十分実用的な品質になります。しかし、2人の友人が常に言葉を被らせながら盛り上がっているポッドキャストは、あらゆる吹き替えシステムにとって最も処理が困難な素材であり、このような事実を公表しているベンダーのマーケティング資料はありません。なお、こういったコンテンツにおいて動画の長さが制限になることは稀です。私たちはファイルあたり最大180分、最大2 GBまで対応しており、ほぼすべてのエピソードをカバーできます。

この最後のケースも決して不可能というわけではありませんが、大量の動画をまとめて処理する前に、まずは必ずテストを行うべき事例です。

テストの費用はわずかです。1つのエピソードを1つの言語で処理してみて、最もきれいに聞こえる部分ではなく、あえて会話の重なりが最もひどい「最悪の2分間」を聞いて評価してください。

もしテストがまったく処理されずに終了した場合、そのジョブのクレジットは自動的に返金されます。エラーで失敗したジョブや、ファイルが生成されないまま6時間のタイムアウト上限に達したジョブについては、申請手続きなしでクレジットが自動的に返却されます。返金対象外となるのは、処理自体は正常に完了したものの、結果としての吹き替え品質が期待を下回る場合です。システム側にはその品質を「失敗」と判定する基準がないため、正常に処理が実行され、ファイルが作成された時点でクレジットが消費されます。

そのため、20本分の費用を費やす前に、まずは1本分のクレジットでテストを行い、その形式がシステムに適合するかを確認することをお勧めします。なお、生成されたファイルは完了したその日にダウンロードしてください。吹き替え済みのファイルが保存される期間は90日で、その後は永久に削除されます。

話し手が増えると、長さ（タイミング）のズレは悪化するのか？

メカニズム自体は同じですが、会話においてはその問題がより顕著になります。

翻訳後のセリフが元のセリフとまったく同じ長さになることは滅多になく、一人の独白（モノローグ）であれば、このズレは穏やかに蓄積されます。しかし対話（ダイアログ）においては、このズレが発言順のタイミングのズレとして現れます。聞き手は会話のリズムに非常に敏感であるため、このズレはより目立ちやすくなります。吹き替え音声のズレが発生する理由にその根本的な原因と具体的な対策が詳しく解説されています。

次におすすめの記事

社内コミュニケーションではインタビューや座談会のコンテンツがよく使われますが、公開用の動画ほど厳密なタイミングが求められない場合が一般的です。具体的な活用例として、コーポレート動画の日本語からオランダ語への吹き替えでは社内向け動画のペアを解説しており、YouTube動画の日本語からアラビア語への吹き替えでは公開用動画のペアを解説しています。また、その他の組み合わせについてはユースケース一覧をご覧ください。

FAQ

AI吹き替えは複数人の音声に対応していますか？

はい、発言が順番に行われていれば、複数人であっても良好に処理されます。難しいのは同時に話す場合です。同じ瞬間に重なった複数の声はファイル内で物理的に混ざり合っているため、それらをきれいに分離することは非常に困難です。4人が順番に話しているファイルの方が、2人がお互いに割り込んで話しているファイルよりも、はるかに簡単に処理できます。

話し手の人数をシステムに指定することはできますか？

いいえ、指定はできません。アップロード時には、ファイル、対象言語、および1つのフラグのみを送信し、話し手の人数を伝える項目はありません。システムが独自に人数を判定します。また、完了後に手動で修正を加えることもできません。

インタビューや2人制ポッドキャストを吹き替える際、どのように準備すべきですか？

収録環境で参加者ごとの音声トラックを個別に保存している場合は、その分離された音源をご使用ください。それが難しい場合は、不要な相槌や被りなどをカットして編集することをお勧めします。また、話し手の境界ごとにファイルを分割してアップロードすることも有効です。ただし、ファイル分割を行うとそれぞれのジョブで1分未満の切り上げが発生するため、1本の連続したファイルをアップロードするよりも消費クレジットが多くなる点にご注意ください。

吹き替え結果の品質が良くなかった場合はどうなりますか？

処理自体がエラーで失敗したジョブについては、自動的にクレジットが返金されます。一方で、正常に完了したものの吹き替え品質が期待通りでなかった場合は返金されません。システム側で「失敗」を検知することができないためです。そのため、複数エピソードを一括処理する前に、まずは1つのエピソードでテストを行い、クレジットを有効活用することをお勧めします。