KADOKAWA Technology Review
×
【春割】実施中!年間購読料20%オフ!
Now There’s an IQ Test for Siri and Friends

グーグル47点、Siriは24点——本当に賢いAIアシスタントはどれ?

デジタル・アシスタントと人間を同列に評価する方法を、中国の研究者が開発した。その結果、グーグル・アシスタントは、人間の6歳児よりは劣るが、近いという結果になった。しかし、実験の詳細が公表されていないため、結果を手放しで評価はできないのが残念だ。 by Emerging Technology from the arXiv2017.10.18

人間の知能の本質とは何か?その定義をめぐって、心理学者の間に明確な合意はない。明確な合意なくして知能を測定することなど困難だ。だからこそ、最も有名な測定方法である知能指数(IQ)テストは、激烈な論議を引き起こしてきた。

マシンインテリジェンスの本質についても同じことが言える。知性を宿す機械がますます一般的かつ実用的になるにつれ、心理学者やコンピューター科学者は、問題に向き合わざるを得なくなってきている。

知性を宿す機械にはどれほどの知能があるのだろうか? 人間に匹敵するのだろうか?

北京にある中国科学院のフォン・リウ主任研究員ら研究チームのおかげで、その答えがある程度分かってきた。フォン主任研究員らは、機械と人間の両方を試せる知能テストを開発し、グーグル・アシスタント(Google Assistant)やシリ(Siri)のようなAIアシスタントを、人間と同じ尺度でランク付けしたのだ。

フォン主任研究員らのテストは、自らが「標準知能モデル」と呼ぶ新しいモデルに基づいている。標準知能モデルの定義では、機械は実世界からデータを取得する方法を持ち、取得したデータを機械自身が処理できる形式へ変換できなければならない。さらに、こうして「知識」となったデータを革新的な方法で使う能力も必要だ。最終的には得られた知識を人間に分かる形でフィードバックする必要もある。

要するに、データを収集して習得し、創造性を発揮して最後に結論を導き出す、ということだ。

「こうした特性がある機械を標準知能システムとして定義できます」とフォン主任研究員らはいう。

フォン主任研究者らは、標準知能モデルに基づいて機械と人間の能力を測定するテストを開発した。だが、ここからが曖昧だ。実際にどのようなテストを実施しているのか、詳細が公表されていないのだ。

それでも研究チームは、2014年からAIアシスタントをテストし続けてきたと説明する。テストを実施したAIアシスタント開発企業には、グーグル、バイドゥ、ソゴウ(捜狗、中国の検索サービス)、アップル、マイクロソフトが含まれる。同様の方法で人間にもテストを実施しており、機械と人間をすべて同じ尺度でランク付けできるようにした。

研究者が発表した最新のテスト、2016年のランキングは以下の通りだ。

  1. 人間(18歳)…… 97点
  2. 人間(12歳)……84.5点
  3. 人間(6歳)……55.5点
  4. グーグル……47.28点
  5. デューア(Duer、度秘)/バイドゥ……37.2点
  6. バイドゥ(Baidu) ……32.92点
  7. ソゴウ(Sogou)……32.25点
  8. ビング(Bing)/マイクロソフト……31.98点
  9. シャオビン(Xiaobing、小氷)/マイクロソフト……24.48点
  10. シリ(Siri)/アップル……23.94点

このランキングからは、6歳児でさえも最も先進的なデジタル・アシスタント(今回の結果ではグーグル)よりも優れていることが分かる。アップルはなんとかランキングに滑り込んだが、主な競合すべてに負けている。

重要なのは、マシン・インテリジェンスは急速に改善しているということだ。2014年のテストでは、グーグルのアシスタントの評価点は26.4点だったという。そのわずか2年後には47.28点を獲得しており、6歳児との距離は縮まっている。飛躍的な前進だ。

以降もグーグルはアシスタントの改善をさらに進めており、実用性は高まっている。2017年のランキングは興味深いものになるだろう。

だが、それもこれも評価方法が信頼できればの話だ。テスト内容を公表することで勝負が簡単になってしまうという意味では、フォン主任研究員らが秘密にするのも理解はできる。一方で、どのようなテストなのか分からないままでは、その有用性を信じるのは難しい。

たとえば質問と回答の例を示すなど、さらなる詳細を公表する方が賢明だ。詳細の公表なしには、説得力に欠ける研究として見られても仕方がないだろう。

(参照:arxiv.org/abs/1709.10242:Intelligence Quotient and Intelligence Grade of Artificial Intelligence)

人気の記事ランキング
  1. A new US phone network for Christians aims to block porn and gender-related content ポルノもLGBTも遮断、キリスト教徒向けMVNOが米国で登場
  2. Musk v. Altman week 1: Elon Musk says he was duped, warns AI could kill us all, and admits that xAI distills OpenAI’s models 「オープンAIを蒸留した」マスク対アルトマン第1週、法廷がざわめく
  3. Will fusion power get cheap? Don’t count on it. 核融合は本当に安くなるのか? 楽観論に「待った」をかける新研究
クレジット Zapp2Photo / Shutterstock.com
エマージングテクノロジー フロム アーカイブ [Emerging Technology from the arXiv]米国版 寄稿者
Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。 メールアドレス:KentuckyFC@arxivblog.com RSSフィード:Physics arXiv Blog RSS Feed
MITテクノロジーレビューが選んだ、 世界を変える10大技術

MITテクノロジーレビューの記者と編集者は、未来を形作るエマージング・テクノロジーについて常に議論している。年に一度、私たちは現状を確認し、その見通しを読者に共有する。以下に挙げるのは、良くも悪くも今後数年間で進歩を促し、あるいは大きな変化を引き起こすと本誌が考えるテクノロジーである。

特集ページへ
AI革命の真実 誇大宣伝の先にあるもの

AIは人間の知能を再現する。AIは病気を根絶する。AIは人類史上、最大にして最も重要な発明だ——。こうした言葉を、あなたも何度となく耳にしてきたはずだ。しかし、その多くは、おそらく真実ではない。現在地を見極め、AIが本当に可能にするものは何かを問い、次に進むべき道を探る。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る