KADOKAWA Technology Review
×
7/30イベント「バイブコーディングの正体——AIエージェントはソフトウェア開発を変えるか?」申込受付中!
GPT-3とそれを取り巻く周辺、パラダイムと限界
-
ニュース 無料会員限定
GPT-3 and related AI technologies, paradigms and limitations

GPT-3とそれを取り巻く周辺、パラダイムと限界

MITテクノロジーレビューの2021年版ブレークスルー・テクノロジー10に選出された「GPT-3」を、日本をリードするAIベンチャー「ギリア」の清水 亮CEOが実際に試用してみた。シリコンバレーを熱狂させた注目のAI技術は、彼の目にどのように映ったのか。 by Ryo Shimizu2021.07.16

オープンAI(OpenAI)のGPT-3が人工知能(AI)の世界で話題をさらってからもう1年が経つ。筆者の手元にもようやくGPT-3へのアクセス権が届いたのでさっそく試してみたが、これがなかなか一筋縄ではいかないもののようだ。

10 Breakthrough Technologies
この記事はマガジン「10 Breakthrough Technologies」に収録されています。 マガジンの紹介

GPT-3は、Generative Pretrained Transformerの略で、強引に訳せば、「生成的事前学習済みトランスフォーマー」の第三世代ということになる。「トランスフォーマー」というのは、AIの構造を意味する言葉である。第二世代のGPT-2でも「あまりにも危険」と喧伝する性能を持つとされていたが、GPT-3はGPT-2よりもさらに大規模なパラメーター数を持つため、その学習にも利用にも膨大なエネルギー(そして費用)を消費する。オープンAIのGPT-3は一定回数までは無料で使えるが、ベータ版とはいえ、その一定回数を超えると費用が発生することになる。それだけの電力を消費するのだから当然と言えば当然だ。むしろGPT-3の開発とメンテナンスに投入されている金額や労力のことを思えば、利用料金はちょっと安いくらいではないかという印象を受けた。

GPT-3はその誇大広告気味な宣伝によって期待値は膨らんだが、実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。長文を書かせると矛盾しだしたり、まったく別の話を展開したりする。

筆者が経営するギリアで開発中の会話エンジン「GheliaM(ギリアM)」にGPT-3を実験的に載せてみて会話をしてみると、最初はテンポよく会話が進むのだが、話をしているうちにだんだんおかしくなってくる。会話の方向性がつかめず、最後は延々と英語で何か話し始めた。まさに「壊れたラジオ」としか言いようのない勢いで、何かを懸命に訴えるのだが、意味をなしていない。

GPT-3に明るい未来はあるのか

GPT-3の明らかな問題点は3つある。1つ目は、巨大すぎること。巨大であるということは維持にコストがかかるだけでなく、大量に使うことができないことを意味する。2つ目は、コントロールが難しいこと。GPT-3は基本的に何を言い出すのかまったく予想がつかない。その意味では企業などが使うにはかなり危険な存在であるとも言える。そして3つ目は、果たしてこの技術の先に明るい未来が開けているかどうか確証が持てないということだ。

GPT-3が巨大すぎるという問題については、AI特有の方法で解決できる可能性もある。AIは、大きくて重いAIから、小さくて軽いAIへ能力を「蒸留」することができる。GPT-3そのものを動かすほど巨大なマシンがなくても、GPT-3の能力を蒸留するのに十分な数のデータセットがあれば、GPT-3の能力をそのままに蒸留できる可能性がなくはない。

また、ギリアでは遺伝的アルゴリズムによってニューラルネットワークの構造そのものを設計する技術を開発していて、画像認識などに用いられる畳み込みニューラルネットワークのSOTA精度(SOTAはState of the Art。その時点で発表されている論文のなかで最も高い精度を指す)を上回り、なおかつサイズが1000分の1のニューラルネットワークを設計できることが分かっている。これをGPT-3と同様の問題に対して適用すれば、GPT-3と同等の性能のニューラルネットワークをもっと小さく、コンパクトにできる可能性はある。

コントロールが難しいという問題に関しては、GPT-3を多段運用すれば回避できる可能性がある。つまり、一度GPT-3に文章を生成させた後、再度GPT-3に「これは公序良俗に反した内容ではないか?」と問いかけるのである。GPT-3はこうした分類問題は得意なので、正しく倫理的な文章に絞ることができる可能性は高い。加えて、もしものための安全装置として、ヒューリスティックな、つまり昔ながらのNGワード検出エンジンを組み合わせておけば、たとえば差別的な発言などは抑制することができるだろう。

最後の問題は最も厄介である。GPT-3は確かに面白いのだが、話す内容はかなりデタラメだ。役立つように見えるときもあるが、そうでもないときもある。長文を要約するタスクなどは驚くほど正確だし、従来からの自然言語処理が苦手としていた「日本語の固有名詞がどこで区切れるか」という問題についてはそれなりに優れた回答を見せる。

日本の自然言語処理の研究者にとって、宮崎駿監督のアニメ作品のタイトルは頭痛の種だった。「風の谷のナウシカ」のように、接続語が連続する特徴的な言葉遣いが多いからだ。

そこでGPT-3に、固有名詞を抜き出す方法を指示してみる。下の図は実際のGPT-3の動作 …

こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
人気の記事ランキング
  1. Promotion MITTR Emerging Technology Nite #33 バイブコーディングって何だ? 7/30イベント開催のお知らせ
  2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
  3. What comes next for AI copyright lawsuits? AI著作権訴訟でメタとアンソロピックが初勝利、今後の展開は?
  4. Why the US and Europe could lose the race for fusion energy 核融合でも中国が優位に、西側に残された3つの勝機
  5. Google’s electricity demand is skyrocketing グーグルの電力使用量が4年で倍増、核融合電力も調達へ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る