社会心理学者は、人間が見た目、特に顔に基づいて、お互いを即座に判断していることを知っていた。第一印象によって、初対面の人が信頼できるか、賢いか、支配的であるか、社交的であるか、ユーモアがあるかといったことを判断しているのだ。
第一印象は、正しいかもしれないし、間違っているかもしれない。決して客観的でもないが、一貫性はある。同一条件で同じ顔を見ると、誰もが同じように判断する傾向がある。
そうなると、興味深い可能性を提起する。マシン・ビジョンと顔認識が急速に進歩し、コンピューターがさまざまな人間の顔の表情を簡単に認識できるようになり、人間の魅力を評価できるようにさえなったのだ。では、機械は顔を見て、人間が持つ第一印象と同じように判断できるだろうか？
11月1日、ノートルダム大学のメル・マクカリー研究員のグループにより、その答えが見つかった。研究グループは、機械学習アルゴリズムを訓練し、人間と同じ方法で、信頼できる（協調的）か支配的（自分勝手）かを機械が判断できるようにしたのだ。
方法は単純だ。どんな機械学習のプロセスでも、最初のステップはアルゴリズムが学習できるデータセットを作成することだ。このデータセットは、信頼できる、支配的、賢いといった特徴を人間の判断でラベル付けした顔写真である。
研究グループは、人々のさまざまな心理的な特徴を測定する民間の科学プロジェクトであるTestMyBrain.orgのWebサイトを利用してデータベースを作成した。TestMyBrain.orgには160万人以上の参加者がおり、Webで最も人気のある脳をテストするサイトのひとつだ。
研究グループは、白黒の顔写真6300枚を参加者に評価してもらった。顔写真ごとに、32人が信頼度と支配性について評価し、別の15人が知能指数と年齢について評価した。
評価の興味深い点は、客観的な回答はなく、単に評価者の意見を記録したことだ。もちろん、知能指数と年齢に関しては、参加者がどれだけ正確に評価したかを測定できるが、 研究グループは、そのことには関心がない。研究グループの目的は、人間が持つ印象の範囲を調べ、同じ結果を再現するように機械を訓練することだ。
データの収集後、6000枚の画像でマシン・ビジョンアルゴリズムを訓練し、 マシン・ビジョンのパラメータを微調整するために、さらに200枚の画像を使った。こうして、人間と同様に顔を判断するように機械を訓練した。
最後に100枚の画像でマシン・ビジョンアルゴリズムをテストし、人間と同様の判断を下せるかどうかを確認した。
結果は、興味深い。当然、機械は人間から学んだのと同じ判断を再現した。顔が提示されれば、機械は、人間が判断したのと同じような信頼性、支配性、年齢、知能指数を示した。
研究グループはさらに、機械が判断を下す方法を分析した。たとえば、機械が、顔のどの部分で判断を下しているかを調べた。
この分析には、顔の異なる部分を隠して、機械に判断させた。結果が通常の値と著しく異なる場合は、当該部分が重要だと仮定できる。こうして、機械が判断する際に、顔のどの部分に最も依存しているかがわかった。
面白いことに、機械が依存している顔の部分は、人間が依存している顔の部分に近いことがわかった。社会心理学者は、人間が口を見て信頼性を評価し、下がった眉を支配性に関連付けることが多いことは知っていた。
そして、これらの部分は、まさにマシン・ビジョンアルゴリズムが、訓練データから見るように学んだ部分だ。「これらの観察によって、我々のマシン・ビジョンアルゴリズムが、人間と同じ場所を見るように学んだことを確認でき、人間がお互いの高レベルの特徴を判断する方法を真似ていることが確認できます」と研究グループはいう。
この結果については、数々の興味深い利用方法が考えられる。研究グループは、まず演技に適用した。エドワード・スノーデンとジュリアン・アサンジの顔写真から、信頼性と支配性を機械に評価させたのだ。それから、最近の2本の映画で、スノーデンとアサンジを演じた俳優のジョゼフ・ゴードン=レヴィットとベネディクト・カンバーバックを機械に評価させた。
俳優と俳優が演じている実在の人物との類似性をどのように観客が評価するか、予測できるかもしれないと考えたのだ。
結果は明確だ。機械は、両方の俳優を、演じている実在の人物と同じように評価した。たとえば、信頼性に関しては、かなり低い評価を下した。「我々のマシン・ビジョンアルゴリズムの判断結果が、実在の人物と彼らを演じる俳優について非常に近いことは、映画の中での描写が正確な証拠です」と研究グループはいう。
そして、研究グループはさらに研究を進め、 マシン・ビジョンアルゴリズムを映画の場面ごとに適用し、どのように評価が変わっていくかを調べた。これによって、人々の認識が、時間の経過とともに変わっていく様子を計測できる。この研究結果は、研究、マーケティング、選挙運動といった目的にも利用できるだろう。
この研究は、将来的な研究方向も示している。可能性のひとつとしては、文化や人口統計学的グループ間で第一印象がどのように変化するかをテストすることだ。
そして、微妙な社会的行動様式に依存することが多い我々の先入観を作り出している要因を分析できる。また、ロボットがそういった先入観を予測し、再現できるかもしれない。
こういった研究に興味が尽きない理由は、この種の研究が人間の行動に影響を与えられることだ。自分の顔が信頼できないと判断されることを知ったら、本人はどう反応するだろうか？ おそらく、顔の表情を変化させ、認識を変えようとするに違いない。実に面白い研究だ！
参照： arxiv.org/abs/1610.08119 ：深層学習による第一印象の予測