KADOKAWA Technology Review
×
GPT-3とそれを取り巻く周辺、パラダイムと限界
-
知性を宿す機械 無料会員限定
GPT-3 and related AI technologies, paradigms and limitations

GPT-3とそれを取り巻く周辺、パラダイムと限界

MITテクノロジーレビューの2021年版ブレークスルー・テクノロジー10に選出された「GPT-3」を、日本をリードするAIベンチャー「ギリア」の清水 亮CEOが実際に試用してみた。シリコンバレーを熱狂させた注目のAI技術は、彼の目にどのように映ったのか。 by Ryo Shimizu2021.07.16

オープンAI(OpenAI)のGPT-3が人工知能(AI)の世界で話題をさらってからもう1年が経つ。筆者の手元にもようやくGPT-3へのアクセス権が届いたのでさっそく試してみたが、これがなかなか一筋縄ではいかないもののようだ。

10 Breakthrough Technologies
この記事はマガジン「10 Breakthrough Technologies」に収録されています。 マガジンの紹介

GPT-3は、Generative Pretrained Transformerの略で、強引に訳せば、「生成的事前学習済みトランスフォーマー」の第三世代ということになる。「トランスフォーマー」というのは、AIの構造を意味する言葉である。第二世代のGPT-2でも「あまりにも危険」と喧伝する性能を持つとされていたが、GPT-3はGPT-2よりもさらに大規模なパラメーター数を持つため、その学習にも利用にも膨大なエネルギー(そして費用)を消費する。オープンAIのGPT-3は一定回数までは無料で使えるが、ベータ版とはいえ、その一定回数を超えると費用が発生することになる。それだけの電力を消費するのだから当然と言えば当然だ。むしろGPT-3の開発とメンテナンスに投入されている金額や労力のことを思えば、利用料金はちょっと安いくらいではないかという印象を受けた。

GPT-3はその誇大広告気味な宣伝によって期待値は膨らんだが、実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。長文を書かせると矛盾しだしたり、まったく別の話を展開したりする。

筆者が経営するギリアで開発中の会話エンジン「GheliaM(ギリアM)」にGPT-3を実験的に載せてみて会話をしてみると、最初はテンポよく会話が進むのだが、話をしているうちにだんだんおかしくなってくる。会話の方向性がつかめず、最後は延々と英語で何か話し始めた。まさに「壊れたラジオ」としか言いようのない勢いで、何かを懸命に訴えるのだが、意味をなしていない。

GPT-3に明るい未来はあるのか

GPT-3の明らかな問題点は3つある。1つ目は、巨大すぎること。巨大であるということは維持にコストがかかるだけでなく、大量に使うことができないことを意味する。2つ目は、コントロールが難しいこと。GPT-3は基本的に何を言い出すのかまったく予想がつかない。その意味では企業などが使うにはかなり危険な存在であるとも言える。そして3つ目は、果たしてこの技術の先に明るい未来が開けているかどうか確証が持てないということだ。

GPT-3が巨大すぎるという問題については、AI特有の方法で解決できる可能性もある。AIは、大きくて重いAIから、小さくて軽いAIへ能力を「蒸留」することができる。GPT-3そのものを動かすほど巨大なマシンがなくても、GPT-3の能力を蒸留するのに十分な数のデータセットがあれば、GPT-3の能力をそのままに蒸留できる可能性がなくはない。

また、ギリアでは遺伝的アルゴリズムによってニューラルネットワークの構造そのものを設計する技術を開発していて、画像認識などに用いられる畳み込みニューラルネットワークのSOTA精度(SOTAはState of the Art。その時点で発表されている論文のなかで最も高い精度を指す)を上回り、なおかつサイズが1000分の1のニューラルネットワークを設計できることが分かっている。これをGPT-3と同様の問題に対して適用すれば、GPT-3と同等の性能のニューラルネットワークをもっと小さく、コンパクトにできる可能性はある。

コントロールが難しいという問題に関しては、GPT-3を多段運用すれば回避できる可能性がある。つまり、一度GPT-3に文章を生成させた後、再度GPT-3に「これは公序良俗に反した内容ではないか?」と問いかけるのである。GPT-3はこうした分類問題は得意なので、正しく倫理的な文章に絞ることができる可能性は高い。加えて、もしものための安全装置として、ヒューリスティックな、つまり昔ながらのNGワード検出エンジンを組み合わせておけば、たとえば差別的な発言などは抑制することができるだろう。

最後の問題は最も厄介である。GPT-3は確かに面白いのだが、話す内容はかなりデタラメだ。役立つように見えるときもあるが、そうでもないときもある。長文を要約するタスクなどは驚くほど正確だし、従来からの自然言語処理が苦手としていた「日本語の固有名詞がどこで区切れるか」という問題についてはそれなりに優れた回答を見せる。

日本の自然言語処理の研究者にとって、宮崎駿監督のアニメ作品のタイトルは頭痛の種だった。「風の谷のナウシカ」のように、接続語が連続する特徴的な言葉遣いが多いからだ。

そこでGPT-3に、固有名詞を抜き出す方法を指示してみる。下の図は実際のGPT-3の動作 …

こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
日本発「世界を変える」35歳未満のイノベーター

MITテクノロジーレビューが主催するグローバル・アワード「Innovators Under 35 」の日本版が候補者を募集している。特定の分野や業界だけでなく、世界全体の重要な課題を解決するイノベーターを発信していく。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.4/Summer 2021
MITテクノロジーレビュー[日本版] Vol.4/Summer 202110 Breakthrough Technologies

新型コロナウイルス・ワクチンの開発で脚光を浴びた「メッセンジャーRNA」技術から、人間並みの文章を自在に生成できる人工知能(AI)技術「GPT-3」、電気自動車(EV)普及の鍵を握る「次世代バッテリー」まで。MITテクノロジーレビューが選んだ「世界を変える10大テクノロジー」。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る