NvidiaがVRの計算量を削減し、現実味を増すためにレオナルド・ダ・ヴィンチの手法を実用化
コネクティビティ

Nvidia’s Eye-Tracking Tech Could Revolutionize Virtual Reality VRの最新研究に
レオナルド・ダ・ヴィンチ

レオナルド・ダ・ヴィンチが発見した現象をエヌビディアがVR画像の現実味を増す手法として実用化した。 by Simon Parkin2016.07.22

近くの壁に時計がかかっているなら、目を向けてみよう。時計はハッキリ見えても、周りの光景はぼやけているはずだ。脳が周辺の光景を大まかに描いているのは、コンピューター・グラフィックス用語でいえば「周囲の光景を低解像度でレンダリングしている」ということになる。

エヌビディアはすでに同じトリックを実質現実(VR)のレンダリングに使っている。コンピューターが画像をレンダリング処理するときの計算量を狭い領域に集中すれば、人間が注目する箇所の画像を鮮明にできるので、仮想世界の現実感が大幅に向上するのだ。

「中心視」は、15世紀にレオナルド・ダ・ヴィンチが発見した視覚現象だ。エヌビディアでは、デヴィッド・ルーブキー研究員など4人の研究チームが9か月かけて、中心視の原理をVRで再現した。プレイヤーが見つめる特定領域のみを最大解像度でレンダリングし、それ以外の領域は大幅に低い解像度でレンダリングする手法だ。

/wp-content/uploads/sites/2/2016/07/nvidia.v3_3.mp4
ユーザーの視線を追跡し、エヌビディアの中心視の手法で周辺領域の映像をボカしてレンダリングされた実質現実の映像

エヌビディアの描画エンジンで描かれたゲームで、プレイヤーが場面の新しい領域に視線を移すと、視線追跡ソフトがレンダリングの中心点を移す。VRでは最低毎秒90フレームで映像を作らないとプレイヤーがVR酔いを起こしてしまうが、毎秒90フレームでVR用の画像全体をレンダリングするには、400万ピクセルを毎秒100回程度は書き換えなければならず、膨大な計算量が必要だ。しかし、プレイヤーが注目する箇所に絞ってレンダリングすれば、計算量を大幅に節約できる。ルーブキー研究員は「性能向上は無視できないほど大きい」という。

中心視の原理は、VR研究では以前から知られている。実際、ルーブキー研究員はバージニア大学の教授だった時から、過去15年のほとんどをこの分野の研究に費やし、エヌビディアに研究拠点を移したのだ。研究の成果がなかなか出なかったのは、従来の視線追跡テクノロジーでは、間の目の動きについていけなかったのだ。ユーザーがあるシーンの左側から右側へ目を移すと、遅延によって吐き気を催してしまう。しかし視線追跡テクノロジー専業のSMI(センソメトリックインスツメンツ、本社ドイツ)が開発した新しい視線追跡VRディスプレイのプロトタイプが250Hzの視線追跡を低遅延で正確にできるようになり「人間の目の動きに遅れない初めての視線追跡」(ルーブキー研究員)が可能になったのだ。

ただし、高い性能があるはずの新型視線追跡で、周辺領域の解像度をどれだけ下げても見ている人が気づかないのかを正確に計算するために、エヌビディアの研究チームはか相当な時間をかけた。

「実は、人間の周辺視は、ちらつきを発見しやすいのです。かつては森の中でトラを発見するのに役立っていました」

つまり、周辺領域の画像を単純に劣化させると、ちらつきが発生し、見ている人は何かが横切ったり潜んでいたりするかのように錯覚してしまう。また、周辺が不明瞭すぎれば、双眼鏡を覗いているかのような視野狭さくになってしまい見ている人が「正確に説明できなくても何かおかしいことに気づいてしまう」という。

そこで研究を重ねたところ、解像度を下げながら周辺領域のコントラストを上げると、人間の脳を完全にだませることをエヌビディアの研究チームは発見した。

ただし、エヌビディアはこのテクノロジーをまだ商品化していない。もちろんエヌビディアは多くのVR企業にハードとソフトを供給しており、オキュラスのような大手ヘッドセットメーカーがヘッドマウントディスプレイに視線追跡を取り入れることを期待している。「私たちの研究はVRの実用化に向け、道のりを定義することです」とルーブキー研究員は語った。

視線追跡センサーは顔から離れると格段に精度が低下するため、このテクノロジーがVR用以外のディスプレイ(ノートPCなど)に取り付けられることはない。一方、視線追跡センサーを目から数センチのところに取り付けられるVR用ヘッドマウントディスプレイは理想的だ。このテクノロジーが、エヌビディアの将来のグラフィックスカードに採用される可能性は高く、特定領域のピクセルでコンピューターの計算量を優先的に割り当てるなど、レンダリングエンジンの開発者や利用者は、描画アルゴリズムを見直すことになるかもしれない。