表情筋の神経信号を検出し、アバターに表情を付けるVRゴーグル
コネクティビティ

Electrodes for Your Face Bring Your Emotions to Augmented and Virtual Reality 表情筋の神経信号を検出し、アバターに表情を付けるVRゴーグル

スイスのスタートアップ企業マインドメイズが、表情筋の神経信号を読み取れるVRゴーグルを開発中だ。VRの人気はそれほど高まっていないが、アバターに表情を付けられると人気が出るのかはよくわからない。 by Rachel Metz2017.04.14
https://s3.amazonaws.com/files.technologyreview.com/p/pub/files/videoapr11110813am_0.mp4

スイスのスタートアップ企業マインドメイズのテジュ・タディCEOは、自身のオフィスの机に置かれた装着パッド付きのVRゴーグルの将来が楽しみでならない。

装着パッドは、他の多くのヘッドマウント・ディスプレイと同様のクッション素材のように見えるが、実はマインドメイズのVRゴーグルには電極が仕込まれており、顔の表情筋が動くと発生する電気信号を検出できるのだ。ゴーグルはコンピューターに接続されていて、電気信号を分析するソフトウェアにより、画面上のアバターの顔の表情が変化する。

タディCEOが「マスク」と呼ぶ装置で、ゴーグルのサイズはほぼそのままで、険しい表情や笑顔、訝しげな表情を自然にバーチャル・キャラクターに再現できるという。実質現実(VR)で感情を簡単に表現したり、他のユーザーと関わったりできるようになれば、実質現実を試してみたいユーザーが増え、人気が上がるかもしれない、とタディCEOは考えているのだ。

タディCEOは「実質現実の人気を高める唯一の方法は、ゲームに感情を蘇らせることです。感情があれば、人間らしくなるでしょう? 言葉によらない合図です」という。

今のところ、実質現実や拡張現実のゴーグルはいくつかの理由(装着が面倒なのに明確な実用性が少ないこと、孤独を感じること等)で一般消費者に受け入れられていない。

マインドメイズには1億ドルの資金があり、ゲームや動作追跡、脳信号の監視といった機能のある実質現実デバイスを、すでに脳梗塞患者のリハビリ向けに販売中だ。ヨーロッパでは現在、数十の病院でマインドメイズのVRゴーグルが使われている。

タディCEOは、これまでの研究開発の積み重ねでマスクを作った、という。現在、マスクは10種類の表情(ウインク、笑顔、作り笑い、険しい表情、訝しげな表情など)を認識できる。また、付属のマイクを使えば、アバターはマスクを通じてユーザーの喋り方まで真似る。

タディCEOは、こうした装置をマインドメイズや他のゴーグルメーカーが商品化し、年内には一般発売したい考えだ。

マインドメイズの社員が試作品を試す様子を見る限りでは上出来だった。マインドメイズのテクノロジーを内蔵したOSVR(Open Source Virtual Reality)のVRゴーグルで、社員のひとりがさまざまな表情をすると、パソコンの画面上でマンガ風の男性キャラクターも同じような表情になった。しかし、喋り方を真似る機能は、他でも見たことのあるバーチャル・キャラクターの基本的なお喋りの仕方と、それほど変わらない印象だ。

ゴーグル装着時に私の表情筋と機械の相性を調整する必要はなかったが、私の表情の一部はうまく認識されなかった。タディCEOと社員の説明では、飛び出た髪の毛が電極に引っかかったせいかもしれない。

なお、ゴーグルはやたらと大きく、扱いにくい。電極が搭載された装着パッドは複数のコードや電子機器だけでなく、コンピューターとも接続されている。アルコールジェルで消毒された電極が、参照用に両方の耳たぶに装着された。

タディCEOは、耳たぶの電極をゴーグルと接続されたヘッドフォンに組み込んである乾燥タイプに取り替えたり、電極のサイズを小さくしたりできるかもしれないという。しかし、タディCEOの提案する機能を採用しても、すでにサイズが大きすぎるといわれるゴーグルをさらに大きくすることに変わりはない。感情表現を加えることが、サイズの問題よりも重要なのかはわからないままだ。