スマートウォッチは効率がいいとはいえない。片方の手首にスマートウォッチを着け、もう片方の手で操作するのだ。そこでカーネギーメロン大学の研究チームは、着けている方の手だけで使ってピンチやスワイプ、クリックできる、いい方法があるに違いないと考えた。
研究チームはジャイロスコープや加速度計といったスマートフォン用の枯れたセンサーを活用し、サムスン製スマートウォッチGalaxy Gearを装着している方の手で、ピンチとタップの比較的細かい動きと、ラブ、スクイーズ、ウェーブの大きな動き、合わせて5つの動きを機械学習で認識できるようにした。
カーネギーメロン大学ヒューマンコンピュータインタラクション研究所の博士課程に在籍するジュリアン・アンドレス・ラモスロハスは「スマートウォッチを身に着けた状態で、不格好に見えない操作がしたかった」という。
研究チームは10名のボランティアの協力により、システムの精度の測定した。全体の精度は約87％で、製品版の精度は95％以上が要求されるだろうとラモスロハスは想定している。
今どきのスマートウォッチの形状は比較的新しく、メーカーは異なる入力方式を実験している最中だ。とはいえ、入力方法は大きなボタンと指で画面をタップしたりスクロールしたりすることが多い。
動作認識はスマートウォッチの機能性を劇的に改善させると考えられており、実用に向けて盛んに研究されている。スマートウォッチのために両手で操作するのは時計型にする意味がない。手が汚れているとき、画面をタッチして曲を替えたいとは思わないだろう。
ジェスチャー制御・アームバンドメーカーのサルミク研究所のステファン・レイクCEOは「ジェスチャー制御には、速さ、繊細さ、両手をふさがない状態での操作、そして楽しさが大事です。時計の操作に気を取られずに、さまざまな操作ができるのなら、ジェスチャー制御に置き換わるでしょう」という。
スマートウォッチメーカーもジェスチャー制御の採用し始めている。2015年末、グーグルがAndroidスマートウォッチにジェスチャー制御を追加できるようにした。ユーザーは手首をフリックしたりシェイク、リフトしたりすることで入力できる。カーネギーメロン大学の研究チームの手法は、もっと細かな動作であるユーザーの指の動きでもスマートウォッチが認識できる点が異なる。
カーネギーメロン大学の研究者は、この研究は特に医療分野で、たとえば運動ニューロン病の患者による利用があり得ると考えている。また、スマートウォッチ以外にも、携帯電話、ノートパソコン、VR/ARヘッドセットの操作で利用できれば、ジェスチャー制御でもっといろいろなことが可能になるだろう。
研究者はデバイス操作についてスマートウォッチ以外にも目を向けている、とラモスロハスはいう。カーネギーメロン大学の別の研究チームは、皮膚をタッチパッドの一部として使おうとしている（”Use Your Arm as a Smart-Watch Touch Pad“参照）。ただし、極端にSFじみたソリューションがすぐに実現することはない。
「1つの入力操作方式に収斂するのではなく、テクノロジーの特徴を上手に絡めることになるでしょう」（ラモスロハス）