ヘッブの法則に着想、「忘れられる」ニューラル・ネットワーク

深層学習は、機械の使い方と機械に対する考え方に変化をもたらしている。深層学習を活用した機械は、チェスや囲碁から顔認識、物体認識に至るまで、さまざまな分野で人間より優れた能力を持つようになった。

一方で機械学習は、あらゆる側面で人間の能力に大きく後れを取っている。特に異なるのは、人間はもう役に立たない情報をそれよりも重要な知識で上書きすることで、記憶を絶えず更新する並外れた能力を持っている、ということだ。

「忘れること」は重要なスキルである。世界は際限のない大量の情報であふれており、その大部分は一筋縄ではいかない社会的生存に何ら関わりのない知識だ。容量の限られた記憶に保存しておくことは不可能である。人間やその他の生物は、重要なスキルを保持しながら、重要でない知識を忘れていく能力を発達させてきた。

機械は同じではない。機械が学習するスキルは、その重要度に関わらず、すぐさま上書きされる。現在のところ、機械がスキルに優先順位をつけ、何を記憶に保存し、何を忘れるべきかを決定するのに使用できる信頼性の高い仕組みは存在しない。

現在、ベルギーのルーヴェン・カトリック大学とフェイスブックAI研究所のラハフ・アルジュンディ研究員のチームの功績により、そうした状況が変わろうとしている。研究チームは、生物が学んだり忘れたりするのに使用するアプローチが、人工ニューラル・ネットワークにも適用で …

人気の記事ランキング

1. Trump’s AI protectionism has come for robotics 中国製ロボットを締め出す米国、その研究は中国製で回っている
2. How an overlooked geothermal plant got a second chance もっと深く掘れ——採算割れの地熱発電所を米新興企業が再生
3. How lasers could help provide fuel for nuclear reactors 核廃棄物は「地上ウラン鉱山」、レーザー濃縮で再生を狙う
4. A fundamental flaw leaves LLMs strikingly vulnerable to attack 「思考の連鎖」偽装でLLMを騙す新手法、訓練では防げない構造的欠陥