フラッシュ2024年2月21日

• 人工知能（AI）

  Transformerの化学言語モデルはキラリティ認識が苦手

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学の研究チームは、深層学習モデルのTransformer（トランスフォーマー）が多様な化合物構造を学習していく過程で、特定の部分を苦手としていることを発見した。深層学習モデルは薬学研究でも活用されており、化合物構造を自然言語処理を使って数値へ変換する化学言語モデルが使われている。ただ、深層学習モデルが多様な化合物構造をどのように認識し、学習しているのかは明らかになっていなかった。

  研究チームは、深層学習モデルは学習を重ねるごとに精度が向上していく点に着目して、学習の進捗に応じてTransformerの性質がどのように変遷するのかを調べた。その結果、学習開始早々に、化合物構造を表現する文字列の部分的な学習が完了するが、文字列全体の学習には時間がかかることを確認。さらに、学習経過が異なる複数のモデルを用意し、それぞれで化合物の毒性や物性を推定させたところ、学習経過に関係なく、学習初期段階からほぼ同等の精度となることを発見した。この検証の最中に、深層学習モデルの学習が確率的に滞る現象を確認し、原因を探索した。

  その結果、化合物の立体的特性であるキラリティを表現する文字（@、@@）を見出したことから、キラリティの認識がTransformerモデルの学習に大きく影響することが分かった。加えて、原子ごとの精度を評価する際にもキラリティの学習が遅いことも分かった。さらに、この分野で頻用するSMILES（Simplified Molecular Input Line Entry System）表現やInChI（International Chemical Identifier）表現でも同様の現象を確認できた。

  研究成果は2月16日、ネイチャー・コミュニケーションズ（Nature Communications）にオンライン掲載された。

  （笹田）

  • 3

• 人気の記事ランキング

  1. China figured out how to sell EVs. Now it has to deal with their aging batteries. 中国でEV廃車ラッシュ、年間82万トンのバッテリー処理追いつかず
  2. Quantum navigation could solve the military’s GPS jamming problem ロシアGPS妨害で注目の「量子航法」技術、その実力と課題は？
  3. Text-to-image AI models can be tricked into generating disturbing images AIモデル、「脱獄プロンプト」で不適切な画像生成の新手法
  4. How social media encourages the worst of AI boosterism GPT-5が「未解決問題解いた」 恥ずかしい勘違い、なぜ？