KADOKAWA Technology Review
×
発表!MITテクノロジーレビューが選ぶ
2022年のイノベーター14人。
【12/15 Summit開催】
GPT-3で号砲、大規模化に明け暮れた2021年のAIシーン
Ms Tech | Everett Collection
知性を宿す機械 無料会員限定
2021 was the year of monster AI models

GPT-3で号砲、大規模化に明け暮れた2021年のAIシーン

驚くべき作文能力を持つオープンAI(OpenAI)の「GPT-3」は、モデルの大規模化を競い合いう人工知能(AI)の新トレンドの始まりだった。2021年は新しい言語モデルの構築に多大な労力が注がれたものの、AIはまだGPT-3の影響から抜け出せていない。 by Will Douglas Heaven2021.12.23

2021年は、超大型人工知能(AI)モデルの年だった。

オープンAI(OpenAI)が2020年6月にリリースしたGPT-3は、驚異的な言語把握力を持っていた。説得力のある文章を生成し、人間と会話し、自動補完コードを生成することさえ可能だった。GPT-3の驚異性はその規模にも見られ、これまでに作られたどのニューラル・ネットワークよりも巨大だった。GPT-3は「大きいことは良いことだ」というAIの新トレンドの火つけ役ともなった。

GPT-3には、訓練に使われたオンライン・テキストに内在するバイアスや悪意を模倣する傾向があり、その規模の大きさ故に訓練には持続不可能なほど膨大な計算機能力が必要だ。にもかかわらず、MITテクノロジーレビューはGPT-3を2020年のブレイクスルー・テクノロジーの1つに選んだ。良くも、悪くもだ。

しかし、GPT-3のインパクトは2021年になって、さらに明確になった。2021年は、数々のテクノロジー企業やトップクラスのAI研究機関によって構築された大規模AIモデルが急増し、その多くがGPT-3の規模と能力を超えていた。モデルはどこまで大きくなるのか、そしてそれに伴うコストはいくらになるのだろうか?

GPT-3が世界の注目を集めたのは、「何ができるか」だけではなく、「どのようにしてできたのか」という点にもある。性能の目覚ましい飛躍、中でもGPT-3が特別に訓練を受けていない言語タスクにも汎化できる能力は、アルゴリズムの改良ではなく、他ならぬ規模の巨大さから生まれたのだ(ただし、グーグルが2017年に開発したトランスフォーマー(transformer)と呼ばれる新型のニューラル・ネットワークに大きく依存している)。

「新しいアイデアが必要だと思っていましたが、規模の大きさだけで切り抜けられました」。オープンAIの研究者で、GPT-3の設計者の1人であるジャレッド・カプラン博士は、12月に開催された主要なAIカンファレンス「ニューリップス(NeurIPS)」のパネルディスカッションで述べた。

マイクロソフトに在籍する2人の研究者は10月、エヌビディア(NVIDIA)との共同研究で構築した大規模な「メガトロン・チューリングNLG(Megatron-Turing NLG)モデル」を発表したブログ記事で、「超巨大化によるAIモデルの性能向上は続いていて、一見すると終わりが見えません」と書いている。

モデルが大きいとは、どういうことか? モデル、すなわち訓練済みのニューラル・ネットワークのサイズは、それが持つパラメーターの数で測られる。パラメーターとは、ネットワーク内に保持される値で、これらは訓練中に何度も調整され、モデルの予測に使用される。大まかに言えば、パラメー …

こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
日本発「世界を変える」35歳未満のイノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.8
MITテクノロジーレビュー[日本版] Vol.8脱炭素イノベーション

2050年のカーボンニュートラル(炭素中立)の実現に向けて、世界各国で研究開発が加速する脱炭素技術、社会実装が進む気候変動の緩和・適応策などGX(グリーン・トランスフォーメーション)の最新動向を丸ごと1冊取り上げる。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る