このスペイン語の音声クリップを聞いてみよう。

この音声クリップを従来の自動翻訳システムで英語に翻訳すると、次のようになる。

そしてこちらが、グーグルの新しい自動翻訳システムを利用した場合のものである。

完璧ではないものの、グーグルの翻訳システムでは、元の話者の声と口調がある程度維持されていることがわかる。グーグルの翻訳システムは、音声入力を音声出力に直接変換しているからだ。その間に他のステップはない。それに対して従来の翻訳システムは、音声を一旦テキストに変換し、そのテキストを翻訳した後、再度音声を合成している。そのため、その過程で元の声の特徴が失われてしまう。

「トランスラトトロン（Translatotron）」と名付けられたこの新しいシステムには3つのコンポーネントがあり、そのすべてが、話者の音声スペクトログラムを調べている。音声スペクトログラムとは、再生されている音の周波数分布のスナップショットを視覚化したもので、一般的に声紋と呼ばれる。トランスラトトロンの最初のコンポーネントでは、入力言語の声紋を出力言語の声紋にマッピングするように訓練したニューラル・ネットワークを使用する。2つめのコンポーネントは、マッピングした声紋を、再生可能な音声の波形に変換する。その後、3つめのコンポーネントが、元の話者の声の特徴を、最終的な音声出力に被せて戻す。

このアプローチによって、言葉には表されない重要な情報が維持され、より繊細な表現の翻訳が可能になるだけでなく、理論的には、翻訳ミスが最小限に抑えられる。ステップがより少なくなるからだ。

トランスラトトロンは現在、研究者らが概念実証をしている段階だ。テストでは、精選された訓練用データがすでに大量に確保されているスペイン語から英語への翻訳だけを試みている。だが、上の音声クリップを聞くと、いずれは商用システムとして実用化される可能性がありそうだ。その他の音声クリップはこちらから確認できる。

• 1369
• 122
• 12
• 0

人気の記事ランキング

1. Why it’s so hard for China’s chip industry to become self-sufficient 中国テック事情：チップ国産化推進で、打倒「味の素」の動き
2. How thermal batteries are heating up energy storage レンガにエネルギーを蓄える「熱電池」に熱視線が注がれる理由
3. Three reasons robots are about to become more way useful  生成AI革命の次は「ロボット革命」　夢が近づく3つの理由
4. Researchers taught robots to run. Now they’re teaching them to walk 走るから歩くへ、強化学習AIで地道に進化する人型ロボット