フラッシュ2024年2月21日

• 人工知能（AI）

  Transformerの化学言語モデルはキラリティ認識が苦手

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学の研究チームは、深層学習モデルのTransformer（トランスフォーマー）が多様な化合物構造を学習していく過程で、特定の部分を苦手としていることを発見した。深層学習モデルは薬学研究でも活用されており、化合物構造を自然言語処理を使って数値へ変換する化学言語モデルが使われている。ただ、深層学習モデルが多様な化合物構造をどのように認識し、学習しているのかは明らかになっていなかった。

  研究チームは、深層学習モデルは学習を重ねるごとに精度が向上していく点に着目して、学習の進捗に応じてTransformerの性質がどのように変遷するのかを調べた。その結果、学習開始早々に、化合物構造を表現する文字列の部分的な学習が完了するが、文字列全体の学習には時間がかかることを確認。さらに、学習経過が異なる複数のモデルを用意し、それぞれで化合物の毒性や物性を推定させたところ、学習経過に関係なく、学習初期段階からほぼ同等の精度となることを発見した。この検証の最中に、深層学習モデルの学習が確率的に滞る現象を確認し、原因を探索した。

  その結果、化合物の立体的特性であるキラリティを表現する文字（@、@@）を見出したことから、キラリティの認識がTransformerモデルの学習に大きく影響することが分かった。加えて、原子ごとの精度を評価する際にもキラリティの学習が遅いことも分かった。さらに、この分野で頻用するSMILES（Simplified Molecular Input Line Entry System）表現やInChI（International Chemical Identifier）表現でも同様の現象を確認できた。

  研究成果は2月16日、ネイチャー・コミュニケーションズ（Nature Communications）にオンライン掲載された。

  （笹田）

  • 3

• 人気の記事ランキング

  1. Is fake grass a bad idea? The AstroTurf wars are far from over. 「一番ましな悪い選択肢」 人工芝の安全性をめぐる 論争はまだ終わらない
  2. Digging for clues about the North Pole’s past 12万年前は無氷だった？海底22メートルの泥で掘り起こす北極点の謎
  3. Is carbon removal in trouble? 炭素除去業界に激震、最大顧客のマイクロソフトが購入を一時停止
  4. NASA is building the first nuclear reactor-powered interplanetary spacecraft. How will it work? 初の原子力推進で火星へ、 NASA「強気すぎる」計画 SR-1はどう動くのか？