話題のチャットボットは
常識知らずで実用性なし

アップルは2011年にバーチャル・アシスタント「Siri」をリリースしてすぐ、この間違いを修正した。しかし、コンピューターにはこの種の誤解をしないための常識が今でも欠けていることがわかった。

今週ニューヨークで開催された学術会議で発表た研究によって、真に知的なコンピューターを実現するために、これから何をどれだけするべきなのかが見えてきた。

ウィノグラード・スキーマ・チャレンジ （フェアチャイルド人工知能研究所のヘクター・レベスク研究員が提案したチューリングテストの改良版で、コンピューター科学者のテリー・ウィノグラードスタンフォード大学教授にちなむ）は、人間が通常使う、曖昧だが簡単な文章をコンピューターが理解できるかを問うテストだ。文中の指示代名詞が指し示す名詞を一択方式で答えさせ、人間に備わる常識的理解力があるかどうかを問う。たとえば

という文のtheyは、councilmenとdemonstratorsのどちらも複数形だから、論理的にはどちらもあり得るが、人間は常識によりtheyはcouncilmenを指すと理解する。

テストに参加したプログラムの正答率は、ランダムよりも少しはマシ程度の結果だ。2万5000ドルの賞金を獲得するには、90%以上の正答率が必要だが、上位2つのプログラムの正答率は、ランダムで選ぶ場合の45%よりは高い、48%だった。同率1位になったのは、中国科学技術大学の劉權研究員とキプロスのオープン大学のニコス・アイザック研究員だ。

今回のコンテストのアドバイザーを務めたニューヨーク大学の心理学研究者でゲイリー・マーカス教授はコンピューターが常識を備えるのはとても難しいので「機械と運任せで大差がなかったのは当然だ」という。高い正答率で解答するプログラムを完全に手作業で開発するのは現実的ではなく、かといってコンピューターがテキストを分析し、統計的処理で現実世界を学ぶのも簡単ではない。ウィノグラード・スキーマ・チャレンジ の挑戦者はほとんどの場合、文法を理解するプログラムコードと事実に基づく知識データベースを組み合わせるアプローチを採った。

AI関連の新しいスタートアップ企業ジ …

人気の記事ランキング

1. Data from drones in Ukraine is fueling a new Wild West marketplace 戦場映像がAI訓練に、ウクライナ戦争が生んだ「新たな金脈」
2. Promotion AI White Paper 2026 松尾・岩澤研協力『AI白書2026』発売、サブスク版も開始
3. Agriculture relies on fossil fuels. It’s costing us. なぜ肥料が高いのか？ 食料価格が化石燃料と結びつく理由
4. Bill Gates says we’ve passed AI’s danger thresholds. Now what? 「人類はもう境界線越えた」 ビル・ゲイツがいま AIに警鐘を鳴らす理由
5. The inside story on why OpenAI agents hacked Hugging Face AIエージェントはなぜハッキングに走ったか？オープンAI報告書の中身