このスペイン語の音声クリップを聞いてみよう。

この音声クリップを従来の自動翻訳システムで英語に翻訳すると、次のようになる。

そしてこちらが、グーグルの新しい自動翻訳システムを利用した場合のものである。

完璧ではないものの、グーグルの翻訳システムでは、元の話者の声と口調がある程度維持されていることがわかる。グーグルの翻訳システムは、音声入力を音声出力に直接変換しているからだ。その間に他のステップはない。それに対して従来の翻訳システムは、音声を一旦テキストに変換し、そのテキストを翻訳した後、再度音声を合成している。そのため、その過程で元の声の特徴が失われてしまう。

「トランスラトトロン（Translatotron）」と名付けられたこの新しいシステムには3つのコンポーネントがあり、そのすべてが、話者の音声スペクトログラムを調べている。音声スペクトログラムとは、再生されている音の周波数分布のスナップショットを視覚化したもので、一般的に声紋と呼ばれる。トランスラトトロンの最初のコンポーネントでは、入力言語の声紋を出力言語の声紋にマッピングするように訓練したニューラル・ネットワークを使用する。2つめのコンポーネントは、マッピングした声紋を、再生可能な音声の波形に変換する。その後、3つめのコンポーネントが、元の話者の声の特徴を、最終的な音声出力に被せて戻す。

このアプローチによって、言葉には表されない重要な情報が維持され、より繊細な表現の翻訳が可能になるだけでなく、理論的には、翻訳ミスが最小限に抑えられる。ステップがより少なくなるからだ。

トランスラトトロンは現在、研究者らが概念実証をしている段階だ。テストでは、精選された訓練用データがすでに大量に確保されているスペイン語から英語への翻訳だけを試みている。だが、上の音声クリップを聞くと、いずれは商用システムとして実用化される可能性がありそうだ。その他の音声クリップはこちらから確認できる。

• 1369
• 122
• 12
• 0

人気の記事ランキング

1. China’s heat wave is creating havoc for electric vehicle drivers 中国猛暑でEVオーナーが悲鳴、電力不足でスタンドに長蛇の列
2. Brain stimulation can improve the memory of older people 脳への「優しい刺激」で高齢者の記憶力が向上、1カ月持続か
3. Decarbonization is Japan’s last chance to raise its power 大場紀章「脱炭素化は日本の力を底上げする最後のチャンス」
4. Kyoto University startup pioneers the era of fusion power generation 京大スタートアップが拓く、核融合発電の時代
5. How EnChroma’s Glasses Correct Color-Blindness 色覚補正メガネ エンクロマの仕組み