KADOKAWA Technology Review
×
Yahoo Has a Tool that Can Catch Online Abuse Surprisingly Well

人工知能は
掲示板荒らしを検出できない

コンピューターは掲示板などの「荒らし」は検出できるようになったが、まだメッセージの意味までは理解できない。 by Will Knight2016.07.27

「荒らし」はインターネットの隅々に潜んでいて、誰かの1日を台無しにして大喜びしている。しかし電子メールの受信トレイに迷惑メールがほぼ入らなくなったのに、なぜ機械は自動的にツイートやコメントから口汚いメッセージを除去できないのか?

この疑問は、現在のインターネット文化の色合いに関係がある。ツイッターは先週映画『ゴーストバスターズ』のリメイク版に出演した女性スターの中傷キャンペーンを主導しているとして、あるジャーナリストのアカウントを凍結し、自社サービスにおける荒らし行為の報告用に新ガイドラインと新ツールを導入すると述べた。確かに、Twitter等のサービスでは、数えきれないほどの事象が、毎日放置されている。

研究者は実際、荒らし行為の排除に有効な革新的テクノロジーを開発中だ。ヤフーの研究チームは最近、従来のどの自動化システムよりも効率的に嫌がらせメッセージを捕捉できるアルゴリズムを開発した。研究者はヤフーに掲載されたコンテンツから、コメント欄編集者が攻撃的と判断したメッセージを集め「嫌がらせデータセット」を作成したのだ。

ヤフーの研究チームは、嫌がらせキーワードや嫌がらせメッセージによく含まれる記号類を検出したり、縦読みや合字による別の意味の文を検出したりするような従来型の手法を多く使った。

しかし研究チームは、より先進的な手法も自動言語理解に適用した。言葉の意味を多様な次元でのベクトルで表現する方法を使ったのだ。この手法は「単語埋め込み」と呼ばれ、高度な方法で言葉を解釈できる。たとえば、あるコメントで使われている言葉が個々には嫌がらせと無縁でも、ベクトル空間での語句の形で、嫌がらせと識別できることがある。

こうした手法を組み合わせて、ヤフーの研究チームは嫌がらせメッセージ(自社データセット)を約90%の精度で検出できた。

残りの10%を捕捉するのは面倒なことかもしれない。人工知能の研究者は言語解析の機会学習の訓練を著しく進歩させたが、人工知能はまだ意味を解析する知能をコンピューターに与えられていない。最近の人工知能学界で開催されたコンテストでも、コンピューターはとても単純な文章の曖昧さを解析できなかった。

ツイッターなどテック系企業の多くが、画像認識や文章解釈などの分野のテクノロジーの進化を担う人工知能研究者を抱えている。しかし今のところ、荒らしや嫌がらせをシステムで捕捉することには、ほんのわずかなリソースしか割り当てられていないようだ。ツイッターは自社の人工知能研究チームが精力的に迷惑メッセージ問題に取り組んでいるかどうかの明言を避けた(取り組んではいるようだ)。しかしツイッターが、荒らし行為の排除に、魔法のような解決策を導入する可能性は低い。憎悪を含むメッセージを自動的にフィルタリングすることの問題は、言葉の組み合わせが持つ意味を理解できるのは人間だけ、ということなのだ。

ソーシャルメディア分析センター(本部イギリス)でオンライン上の荒らし行為を追跡しているアレックス・クラソドムスキー・ジョーンズは「自動的に荒らしメッセージを見定めるのは、驚くほど難しいです」という。

「嫌がらせに使われる言語には形がありません。コロコロ変わり、嫌がらせとは匂わせない方法も使われます。たとえば人種的、性的に不適切な言い回しを使ったグループによって言い替えられるのです。10件のツイートを見せて、どれが嫌がらせか、グループの全員が同意することはまずないでしょう。ですからその判断がコンピューターにとってどれだけ難しいかは、想像がつくでしょう」

機械が人間の知性を手に入れるまで、憎悪のこもったメッセージをフィルターでは除去できない。しかしクラソドムスキー・ジョーンズは、私たちが自動化された解決策を欲しがらないもうひとつの、より人的な原因を挙げた。

「人間が何かを読む世界は、ますますアルゴリズムとフィルターに支配されています。コンピューターの干渉をさらに求めることには、慎重になるべきです」

 

人気の記事ランキング
  1. Kids are learning how to make their own little language models 作って学ぶ生成AIモデルの仕組み、MITが子ども向け新アプリ
  2. The winners of Innovators under 35 Japan 2024 have been announced MITTRが選ぶ、 日本発U35イノベーター 2024年版
  3. The race to find new materials with AI needs more data. Meta is giving massive amounts away for free. メタ、材料科学向けの最大規模のデータセットとAIモデルを無償公開
ウィル ナイト [Will Knight]米国版 AI担当上級編集者
MITテクノロジーレビューのAI担当上級編集者です。知性を宿す機械やロボット、自動化について扱うことが多いですが、コンピューティングのほぼすべての側面に関心があります。南ロンドン育ちで、当時最強のシンクレアZX Spectrumで初めてのプログラムコード(無限ループにハマった)を書きました。MITテクノロジーレビュー以前は、ニューサイエンティスト誌のオンライン版編集者でした。もし質問などがあれば、メールを送ってください。
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。2024年受賞者決定!授賞式を11/20に開催します。チケット販売中。 世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を随時発信中。

特集ページへ
MITTRが選んだ 世界を変える10大技術 2024年版

「ブレークスルー・テクノロジー10」は、人工知能、生物工学、気候変動、コンピューティングなどの分野における重要な技術的進歩を評価するMITテクノロジーレビューの年次企画だ。2024年に注目すべき10のテクノロジーを紹介しよう。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る