KADOKAWA Technology Review
×
【10月31日まで】日本初開催 「Innovators Under 35」候補者募集中
AI Machine Attempts to Understand Comic Books ... and Fails

マンガが読めるのは人間だけ
人工知能にはまだ早かった

マンガを読んでストーリーを理解するのは、驚くほどに知的な作業なのだ。 by Emerging Technology from the arXiv2016.11.24

人工知能の能力が人間を凌駕した事例は、驚くべき速さで増えている。顔や物体の認識、チェス、囲碁からビデオゲームまで、多くの人間の仕事が、この戦いに破れて脱落した。

こうなると、どんな種類の仕事なら機械が苦手なのか、と聞きたくなるのが自然だ。まだ人間が実権を握っている領域は残っているのだろうか?

11月23日、メリーランド大学カレッジパーク校のモヒト・リヤー研究員のチームのおかげで、ある程度の答えが得られた。研究チームは人工知能がどれだけマンガを理解できるのか調査し、機械と人間では、人間の方がずっとマンガを理解する能力が高いと判明したのだ。ガッツポーズせざるを得ない研究成果だ。

マンガは、高度に様式化された、写真とはまったく別の、手描きの絵によるコマの連続で物語を構成することが多い。また、それぞれのコマには思考やセリフ、ナレーションなど、吹き出し形式のテキストによる注釈がついている。

テキストと絵は強く結び付いてストーリーを作り出す。絵やテキストのどちらかだけではストーリーを追えなくなるほど密接だ。それでも、コマからコマへ移るときは、読み手にはかなりの推測と補完が求められる。ストーリーの細部を、読み手が埋める必要があるのだ。

「マンガを本当に面白くしているのは、クリエイターがページの背後に隠しているもの(枠内の空間では語られない会話、描かれないアクション)です」と研究チームはいう。つまり、マンガとは、読み手の想像力によってストーリーが築かれている、と研究チームは考えている。

個々のコマを見て、それが前のコマとどう繋がっているのかを理解する「閉合(closure)」と呼ばれる複雑な心理学的作用は、今のところ人間独自の能力のはずだ。

研究チームが、機械に閉合能力があるかを調べる試験を考案し、実験したのは、今でも人間独自の能力かを調べるためでもある。

研究チームは、深層学習の訓練用に1930年代から1950年代に発行されたマンガの巨大データベースを作ることから始めた。当時はマンガの黄金時代と呼ばれ、厳しい表現規制が導入された1950年代後半に終わった。当時の出版物の著作権は期限切れで、デジタル・コミックス・ミュージアム(DCM)にユーザーがアップロードしたJPEGファイルが公開されている。

研究チームは、DCMで評価がもっとも高い4000冊のマンガ作品から120万以上のコマを抜き出し、データベース化した。各コマのセリフ等はOCRでテキスト化した。

研究チームは閉合を試験するために、コマの連続を見せ、次にどのコマが来るのかを選択肢から予測する実験を考案した。実験では、次の絵やテキストを予測するか、テキストから登場人物の正しい組み合わせを選ぶこともある。

機械はまず、マンガのストーリーがどのようにコマとして実現されているかを学習した。研究チームが、さまざまな機械学習アルゴリズムにコマとテキストがどう調和しているのかを教えると、機械はコマが互いにどのように続いているのかを学習できた。ただし、学習した人工知能は初めからマンガ専用ではなく、自然画像内の物体を認識するように事前に訓練されている。

研究チームは、訓練後の機械に、機械にとって初見のコマについて、選択肢から次に来る絵やテキストを予測できるかを検証した。

その結果、驚くべき結果が得られた。人間が80%以上の確率で次に来る絵やテキストを正しく予測できるのに対し、機械の精度は人間にはまったく及ばなかった。

どのアーキテクチャでも人間の基準を上回れないのは、マンガを理解することの難しさを物語っている。自然画像で訓練されたモデルを使った画像認識機能は、芸術的スタイルの数多くのバリエーションを読み取れず、テキストのモデルは、視覚的な文脈に高度に依存している、話し言葉による対話の深さと曖昧さを理解しきれない。

マンガに直接描かれていない常識がなければストーリーついていけないこと、マンガのストーリーテリングに使われるロジックを理解するには、文化的知識が必要であることは当然だ。そのため、少なくとも現時点では、マンガを読むことに関しては、まだ人間が上手である。

しかし、人間的な知能に欠かせないはずの社会の知識や、推察する技能を学べば、機械の能力は確実に高まるだろう。

そこからは、興味深い可能性を浮かんでくる。AIは、チェスやジェパディ!、囲碁等で人間を打ち負かしてきた。AIは、次の挑戦で人間よりもよくマンガを理解できるかもしれない。そうなれば、物語を作り出せるかもしれない。グーグル・ディープマインドの将来の対戦相手は、マーベルやDCコミックスのキャラクターかもしれない。それはまさに闘いだし、きっと面白くなるだろう。

 

人気の記事ランキング
  1. OSIRIS-REx collected too much asteroid material and now some is floating away NASA探査機、小惑星のサンプル採取に成功も多過ぎて蓋が閉まらず
  2. The deadline for IU35 Japan entries is approaching Innovators Under 35 Japan、候補者の応募・推薦締切迫る
  3. There might be even more underground reservoirs of liquid water on Mars 火星の南極に新たな地下湖、生命体が見つかる可能性も
  4. Satellite mega-constellations risk ruining astronomy forever 増え続ける人工衛星群で天体観測が台無し、解決策はあるか?
  5. Room-temperature superconductivity has been achieved for the first time 世界初、15°C「室温超伝導」達成 夢の新技術へ突破口
エマージングテクノロジー フロム アーカイブ [Emerging Technology from the arXiv]米国版 寄稿者
Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。 メールアドレス:KentuckyFC@arxivblog.com RSSフィード:Physics arXiv Blog RSS Feed
Innovators Under 35 Japan 2020

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35」が2020年、日本に上陸する。特定の分野や業界だけでなく、世界全体にとって重要かつ独創的なイノベーターを発信していく取り組みを紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. OSIRIS-REx collected too much asteroid material and now some is floating away NASA探査機、小惑星のサンプル採取に成功も多過ぎて蓋が閉まらず
  2. The deadline for IU35 Japan entries is approaching Innovators Under 35 Japan、候補者の応募・推薦締切迫る
  3. There might be even more underground reservoirs of liquid water on Mars 火星の南極に新たな地下湖、生命体が見つかる可能性も
  4. Satellite mega-constellations risk ruining astronomy forever 増え続ける人工衛星群で天体観測が台無し、解決策はあるか?
  5. Room-temperature superconductivity has been achieved for the first time 世界初、15°C「室温超伝導」達成 夢の新技術へ突破口
MITテクノロジーレビュー[日本版] Vol.1/Autumn 2020
MITテクノロジーレビュー[日本版] Vol.1/Autumn 2020AI Issue

技術動向から社会実装の先進事例、倫理・ガバナンスまで、
AI戦略の2020年代のあたらしい指針。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る