KADOKAWA Technology Review
×
【3/14】MITTR主催「アクセシビリティとテクノロジー 」開催 申込受付中
チャットGPT「プロンプト・インジェクション」に3つのリスク
Stephanie Arnett/MITTR | Envato
人工知能(AI) 無料会員限定
Three ways AI chatbots are a security disaster 

チャットGPT「プロンプト・インジェクション」に3つのリスク

チャットGPT(ChatGPT)をはじめとする大規模AI言語モデルに基づくチャットボットがさまざまな製品に大規模に組み込まれつつある。だが、こうしたチャットボットのプロンプト(指示文)を悪用する行為も多数見つかっており、警鐘を鳴らす声もある。 by Melissa Heikkilä2023.04.07

人工知能(AI)言語モデルは今、テック業界で最も輝き、最もエキサイティングな存在だ。その一方で、新たな大問題を引き起こす可能性がある。AI言語モデルは強力なフィッシングや詐欺のツールとして悪用することが極めて容易だ。その際に、プログラミングのスキルは必要ない。さらに悪いことに、問題を起こさないようにモデルを修正する方法が分かっていない。

旅行の予約からカレンダーの整理、会議でのメモ取りまであらゆる作業を支援するため、テック企業は競ってAI言語モデルをさまざまな製品に組み込もうとしている。

しかし、ユーザーの指示を受けてインターネット上で答えを探し出すというこれらの製品の仕組みによって、新たなリスクが大量に生じる。AI言語モデルを用いるこれらの製品は、個人情報の漏えい、フィッシングやスパム、詐欺行為といったさまざまな悪事に用いられるおそれがある。専門家は、私たちがセキュリティとプライバシーの「災難」に向かっていると警告する。

AI言語モデルがいかに悪用され得るか、3つの方法を紹介しよう。

脱獄

チャットGPT(ChatGPT)、バード(Bard)、ビング(Bing)などのチャットボットに搭載されているAI言語モデルは、人間が書いたかのような文章を生成する。「プロンプト」と呼ばれるユーザーの指示に従って、前の各単語に続く可能性の高い単語を訓練データに基づいて予測し、文章を生成するのだ。

しかし、AI言語モデルを優れたものとしている点、すなわちユーザーの指示に従えるという点が、まさにこの言語モデルを悪用に対して脆弱にしている。その脆弱性は、「プロンプト・インジェクション(指示テキストの挿入)」と呼ばれる、言語モデルに従前の指示や安全策を無視するように指示するプロンプトの使用によって生じ得る。

昨年から、チャットGPTの「脱獄(ジェイルブレイク)」を試みる小規模ビジネスがレディット(Reddit)などのWebサイトに出現している。AIモデルがユーザーに対し、人種差別や陰謀論を支持させたり、万引きや爆発物の製造といった違法行為をするよう勧めたりするよう仕向けているのだ。

こうしたことは、たとえば、元のAIモデルの安全策を無視してでもユーザーの望みを実現する、別のAIモデルの「役割を演じる」ことをチャットボットに依頼すれば実現できる。

チャットGPTを開発したオープンAI(OpenAI)は、チャットGPTの脱獄方法をすべて記録しており、それをAIシステムの訓練データに追加することで、今後はそのようなやり方に抵抗できるようになるだろうと述べている。同社は競争式訓練と呼ばれる手法も用いている。これは、オープンAIの別のチャットボットに、チャットGPTの裏をかく方法を探させるものであえる。しかし、これは終わりのない戦いだ。修正するたびに、新しい脱獄のプロンプトが登場する。

詐欺行為やフィッシングを助ける

脱獄よりもはるかに大きな問題がある。オープンAIは3月下旬、インターネットを閲覧し情報をやりとりする製品をチャットGPTに統合すると発表した。いくつかのスタートアップ企業がすでに、飛行機の予約やカレンダーへの会議設定など、現実世界で行動を起こせるバーチャル・アシスタントを、この機能を利用して開発している。だが、インターネットをチャット …

チャットGPT(ChatGPT)をはじめとする大規模AI言語モデルに基づくチャットボットがさまざまな製品に大規模に組み込まれつつある。だが、こうしたチャットボットのプロンプト(指示文)を悪用する行為も多数見つかっており、警鐘を鳴らす声もある。
こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
10 Breakthrough Technologies 2024

MITテクノロジーレビューは毎年、世界に真のインパクトを与える有望なテクノロジーを探している。本誌がいま最も重要だと考える進歩を紹介しよう。

記事一覧を見る
気候テック企業15 2023

MITテクノロジーレビューの「気候テック企業15」は、温室効果ガスの排出量を大幅に削減する、あるいは地球温暖化の脅威に対処できる可能性が高い有望な「気候テック企業」の年次リストである。

記事一覧を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る