GPT-4へ試行錯誤続くオープンAI、「チャットGPT」でも残る課題

オープンAI（OpenAI）の革新的な大規模言語モデルである「GPT-3」。その後継として期待されながらいまだ発表されていないGPT-4は、週ごとに注目の度合いを増している。しかしオープンAIは、GPT-3に関する試行錯誤をまだまだ続けている。

この記事はマガジン「世界を変えるU35イノベーター2022年版」に収録されています。 マガジンの紹介

サンフランシスコに本拠を置くオープンAIは、「チャットGPT（ChatGPT）」と呼ばれる新型モデルのデモ版を11月30日に発表した。チャットGPTはGPT-3のスピンオフで、対話のやり取りを通じて質問に回答するよう調整されたモデルである。オープンAIはブログで、対話形式にすることでチャットGPTは「補足的な質問に回答でき、ミスを認め、正しくない前提へ反論し、不適切な要求を却下」できると述べた。

チャットGPTはこれらの課題のうちいくつかには対処できそうではあるものの、完全な解決にはほど遠い。実際に使ってみて分かったことだ。同様に、GPT-4にも無理だとも思われる。

特にチャットGPTは、メタが11月15日に公開し、わずか3日で公開を停止した科学記事向け大規模言語モデル「ギャラクティカ（Galactica）」と同様に、いまだにしくじることがある。オープンAIの研究者であるジョン・シュルマン博士は、課題はまだまだたくさんあると語る。「この問題については進展があるものの、まだまだ解決は遠いです」。

どの大規模言語モデルも無意味な内容を吐き出す。チャットGPTにおける違いは、発言内容に確信が持てない時にそれを認めることができることだ。「例えば『間違いないですか？』ときけば、『違うかもしれません』と応答します」と、オープンAIのミラ・ムラティCTO（最高技術責任者）は言う。さらに過去の言語モデルとは違い、チャットGPTは訓練内容に含まれていないトピックについての質問を拒否する。例えば、2021年以降に起きた出来事についての質問に答えようとはしない。また、特定個人に関する質問にも回答しない。

チャットGPTは「インストラクトGPT（InstructGPT）」の姉妹モデルである。インストラクトGPTもオープンAI製で、出力する文章の有害さを抑えるよう訓練を施したモデルだ。また、ディープマインドが2 …