KADOKAWA Technology Review
×
Now There’s an IQ Test for Siri and Friends

グーグル47点、Siriは24点——本当に賢いAIアシスタントはどれ?

デジタル・アシスタントと人間を同列に評価する方法を、中国の研究者が開発した。その結果、グーグル・アシスタントは、人間の6歳児よりは劣るが、近いという結果になった。しかし、実験の詳細が公表されていないため、結果を手放しで評価はできないのが残念だ。 by Emerging Technology from the arXiv2017.10.18

人間の知能の本質とは何か?その定義をめぐって、心理学者の間に明確な合意はない。明確な合意なくして知能を測定することなど困難だ。だからこそ、最も有名な測定方法である知能指数(IQ)テストは、激烈な論議を引き起こしてきた。

マシンインテリジェンスの本質についても同じことが言える。知性を宿す機械がますます一般的かつ実用的になるにつれ、心理学者やコンピューター科学者は、問題に向き合わざるを得なくなってきている。

知性を宿す機械にはどれほどの知能があるのだろうか? 人間に匹敵するのだろうか?

北京にある中国科学院のフォン・リウ主任研究員ら研究チームのおかげで、その答えがある程度分かってきた。フォン主任研究員らは、機械と人間の両方を試せる知能テストを開発し、グーグル・アシスタント(Google Assistant)やシリ(Siri)のようなAIアシスタントを、人間と同じ尺度でランク付けしたのだ。

フォン主任研究員らのテストは、自らが「標準知能モデル」と呼ぶ新しいモデルに基づいている。標準知能モデルの定義では、機械は実世界からデータを取得する方法を持ち、取得したデータを機械自身が処理できる形式へ変換できなければならない。さらに、こうして「知識」となったデータを革新的な方法で使う能力も必要だ。最終的には得られた知識を人間に分かる形でフィードバックする必要もある。

要するに、データを収集して習得し、創造性を発揮して最後に結論を導き出す、ということだ。

「こうした特性がある機械を標準知能システムとして定義できます」とフォン主任研究員らはいう。

フォン主任研究者らは、標準知能モデルに基づいて機械と人間の能力を測定するテストを開発した。だが、ここからが曖昧だ。実際にどのようなテストを実施しているのか、詳細が公表されていないのだ。

それでも研究チームは、2014年からAIアシスタントをテストし続けてきたと説明する。テストを実施したAIアシスタント開発企業には、グーグル、バイドゥ、ソゴウ(捜狗、中国の検索サービス)、アップル、マイクロソフトが含まれる。同様の方法で人間にもテストを実施しており、機械と人間をすべて同じ尺度でランク付けできるようにした。

研究者が発表した最新のテスト、2016年のランキングは以下の通りだ。

  1. 人間(18歳)…… 97点
  2. 人間(12歳)……84.5点
  3. 人間(6歳)……55.5点
  4. グーグル……47.28点
  5. デューア(Duer、度秘)/バイドゥ……37.2点
  6. バイドゥ(Baidu) ……32.92点
  7. ソゴウ(Sogou)……32.25点
  8. ビング(Bing)/マイクロソフト……31.98点
  9. シャオビン(Xiaobing、小氷)/マイクロソフト……24.48点
  10. シリ(Siri)/アップル……23.94点

このランキングからは、6歳児でさえも最も先進的なデジタル・アシスタント(今回の結果ではグーグル)よりも優れていることが分かる。アップルはなんとかランキングに滑り込んだが、主な競合すべてに負けている。

重要なのは、マシン・インテリジェンスは急速に改善しているということだ。2014年のテストでは、グーグルのアシスタントの評価点は26.4点だったという。そのわずか2年後には47.28点を獲得しており、6歳児との距離は縮まっている。飛躍的な前進だ。

以降もグーグルはアシスタントの改善をさらに進めており、実用性は高まっている。2017年のランキングは興味深いものになるだろう。

だが、それもこれも評価方法が信頼できればの話だ。テスト内容を公表することで勝負が簡単になってしまうという意味では、フォン主任研究員らが秘密にするのも理解はできる。一方で、どのようなテストなのか分からないままでは、その有用性を信じるのは難しい。

たとえば質問と回答の例を示すなど、さらなる詳細を公表する方が賢明だ。詳細の公表なしには、説得力に欠ける研究として見られても仕方がないだろう。

(参照:arxiv.org/abs/1709.10242:Intelligence Quotient and Intelligence Grade of Artificial Intelligence)

人気の記事ランキング
  1. This new image shows off magnetic fields swirling around a black hole 周囲の磁場くっきり、初撮影チームがブラックホール最新画像を公開
  2. What are the ingredients of Pfizer’s covid-19 vaccine? ファイザーの新型コロナワクチンの成分は?専門家が解説
  3. Covid-19 immunity likely lasts for years 新型コロナ、免疫は長期間持続か=米新研究
  4. Error-riddled datasets are warping our sense of how good AI really is AIモデル評価用データセットに多数の誤り、実は優秀ではなかった?
  5. So you got the vaccine. Can you still infect people? Pfizer is trying to find out. ワクチンを打っても マスクを外せない理由
クレジット Zapp2Photo / Shutterstock.com
エマージングテクノロジー フロム アーカイブ [Emerging Technology from the arXiv]米国版 寄稿者
Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。 メールアドレス:KentuckyFC@arxivblog.com RSSフィード:Physics arXiv Blog RSS Feed
Innovators Under 35 Japan 2020

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35」が2020年、日本に上陸する。特定の分野や業界だけでなく、世界全体にとって重要かつ独創的なイノベーターを発信していく取り組みを紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. This new image shows off magnetic fields swirling around a black hole 周囲の磁場くっきり、初撮影チームがブラックホール最新画像を公開
  2. What are the ingredients of Pfizer’s covid-19 vaccine? ファイザーの新型コロナワクチンの成分は?専門家が解説
  3. Covid-19 immunity likely lasts for years 新型コロナ、免疫は長期間持続か=米新研究
  4. Error-riddled datasets are warping our sense of how good AI really is AIモデル評価用データセットに多数の誤り、実は優秀ではなかった?
  5. So you got the vaccine. Can you still infect people? Pfizer is trying to find out. ワクチンを打っても マスクを外せない理由
MITテクノロジーレビュー[日本版] Vol.2/Winter 2020
MITテクノロジーレビュー[日本版] Vol.2/Winter 2020SDGs Issue

今、世界中の企業や機関の技術者・研究者たちが各地で抱える社会課題を解決し、持続可能な世界の実現へ向けて取り組んでいる「SDGs(持続可能な開発目標)」。
気候変動や貧困といった地球規模の課題の解決策としての先端テクノロジーに焦点を当て、解決に挑む人々の活動や、日本企業がSDGsを経営にどう取り入れ、取り組むべきか、日本が国際社会から期待される役割について、専門家の提言を紹介します。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る