ついに一つのモデルで複数の材料物性値を予測するモデル(MEGNet)が登場
3つの要点
✔️ 新たに提案するグローバル状態量を用いることで，少量のパラメタを追加するだけで複数の物性値を予測することが可能に
✔️ Pooling層において，結晶内の原子の順番を考慮したSet2SetというPooling方法を採用
✔️ 原子の埋め込みを用いて，全元素ごとの相関を可視化
Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals
written by Chi Chen, Weike Ye, Yunxing Zuo, Chen Zheng, Shyue Ping Ong
(Submitted on 12 Dec 2018 (v1), last revised 28 Feb 2019 (this version, v2))
Comments: Chemistry of Materials 2019
Subjects: Materials Science (cond-mat.mtrl-sci); Computational Physics (physics.comp-ph)
はじめに
材料化学における機械学習
新材料開発の研究は長年にわたり活発に行われています。有名なところでは触媒や電池、創薬といった分野が挙げられ、持続可能な社会や産業の発展に貢献しています。
その材料化学において、新材料の発見には数百万から数千万の候補があり、全ての候補を支配方程式に基づいて数値解析を行う必要があります。しかし、上記の計算量は現在の計算資源ではほぼ不可能であるため、候補数を絞る手法として、機械学習を用いて仮想的にスクリーニングを行うことが実用的に行われています。
この機械学習モデルには、結晶や分子の物性値を求めるための物理モデル(支配方程式)の3つの基本となる制約(対称性)を考慮することが求められます。
1つ目：平行移動をしても得られる物性値は不変(Translational Invariance)
2つ目：回転移動をしても得られる物性値は不変(Rotational Invariance)
3つ目：同じ原子を置換をしても得られる物性値は不変(Permutational Invariance)
また結晶ではこれらに加えて、
4つ目：結晶格子は周期性を持つ(例えると、NaClのような面心立方格子がX, Y, Z方向にどこまでも続いてることをイメージをすると理解しやすいです。)
5つ目：対象となる結晶の空間群における対称性(結晶格子は230種類の空間群に分けることが可能なのですが、それぞれの空間群が固有の対称性を持ちます。)
これらの条件を満たすグラフニューラルネットワークが機械学習の手法として用いられることは自然の流れと言えます。
しかし現状のモデルの課題として、3つの点が挙げられます。
- (SchNetなどの一部のGNNモデルを除いて)結晶と分子それぞれの物性値を予測するモデルが多く、汎用性にかけている。
- 結晶の物性値予測に必要な、系全体の特徴を表す状態量(論文では、Global Stateと呼ぶ)がモデルに含まれていないこと。
(例えば、何度における〇〇といった物性値を求める際には温度の情報を入力することが必須ですが、これまでのモデルでは一つの物性値でもそれぞれの温度ごとにモデルを立てることが必要でした。) - 一部の物性値の最大のボトルネックはデータの少量性であり、有効な解決策がない。(データの数がそのまま性能に影響を与えている）
これらの全問題点を解決する手法として、この論文はMatErial Graph Network(MEGNet)というGNNモデルを提案しています．
提案手法
従来のグラフニューラルネットワークですと、ノードV(節点・頂点)とエッジE(枝・辺)に特徴量を割り当て、GNNにおけるConv層でそれぞれの特徴量(V, E)の更新を行うことで、学習を行います。(V、EはそれぞれVertices、Edgeの頭文字です。 )
この論文では、V、Eの特徴量に加えて、対象とする系全体の特徴を表すグローバル状態量Uを新たに設定します。またuはノードvの特徴量とエッジeの特徴量を用いて更新を行います。更新方法はエッジE、ノードV、グローバル状態量Uの順番です。
エッジ、ノード、グローバル状態量の順番で更新することは、Message Passing Neural Network(MPNN)でエッジ、ノードの順番で更新されていた点、グローバル状態量は更新されたエッジ、ノードをもとに更新すべきであることの2点を考えると、すごく理にかなっていると感じます。
次にモデルの全体像を述べます。
提案モデルであるMEGNetは一般的なGNNと同様に多層のConv層と1層のPooling層、多層の全結合層からなります。入力にはエッジの特徴量、ノードの特徴量、グローバル状態量の3つを、出力は1つの物性値となっています。
ノード、エッジの特徴量は恒等変換ではなく差分を学習することで、勾配消失を起こさないようにするResidual Connection(ResNetで提案)を付けています。Crystal Graph Convolutional Neural Network(CGCNN)で用いられており、材料開発でも一般的な方法です。
またSchNetやCGCNNでは用いられていない。MEGNet Layerの前に全結合層を用いることは従来GNNモデルからの小さな変更点の一つです。
次に、Conv層(MEGNet Block)とPooling層(Set2Set)の詳細について述べます。
エッジEの更新方法
ノードVの更新方法 
グローバル状態量Uの更新方法
ただし、特徴量の更新関数φは以下のように全て同一です。
活性化関数にはSchNetで用いられたShifted Softplus関数という関数が用いられます。
Pooling関数では、GNNではSum Poolingを用いることが一般的ですが、順番の情報が失われています。MEGNetでは、LSTMとAttentionを用いたSet2Setという方法でこの課題に立ち向かいました。
特徴量の割り当て
ノード、エッジ、グローバル状態にそれぞれベクトルを割り当てる必要があります。
先行研究をもとに、分子、結晶それぞれの特徴量には以下のような物性値を割り当てます。
グローバル状態量を用いた4つの物性値を一つのモデルで学習する方法を示します。
その4つの物性値は、０Kにおける内部エネルギーU0、298Kにおける内部エネルギーU、エンタルピーH、ギブズGの自由エネルギーです。エンタルピーH、ギブズの自由エネルギーGの定義はそれぞれU+PV、U+PV-TSです。複数の物性値を予測するためにグローバル状態量を3つの物性値(T, P, S)で定義します。そうすると、０Kにおける内部エネルギーU0、298Kにおける内部エネルギーU、エンタルピーH、ギブズGの自由エネルギーはそれぞれ、(0, 0, 0)、(298, 0, 0)、(298, 1, 0)、(298, 1, 1)と表せます。ただしここで、2項目、3項目のP、Sはそれぞれ含まれるかどうかの情報のみを含んでいます。また、1つの材料に対して、4つの物性値データを用いることができ性能向上も期待できます。
結果
従来のSOTAであるSchNetと比べて、qm9(分子)のデータセットにおいて11/13でSchNetを上回りました。
また結晶においても従来のモデルを大きく上回った。ただし、CGCNNは2017年の時点でのデータセット、MEGNetは2018年6月時点でのデータセットであり、同一のものを用いていないことに注意すべきです。この点について筆者は複雑なデータが含まれるようになり、なお精度が上がったため、MEGNetは有意にCGCNNより優れていると述べています。
GNNを用いていない、記述子ベースのモデル(AFLOW-ML Model, JARVIS-ML Model)と比べても上回ったと筆者は述べており、GNNの優位性についても言及しています。
モデルの解釈
形成エネルギーのデータセットを用いて得られた原子の埋め込みでピアソンの相関係数をとったグラフが以下です。アルカリ金属、アルカリ土類金属、ハロゲン、ランタノイドといった特徴を捉えられているだけでなく、ユウロピウムとイッテルビウムといったランタノイドであるが、アルカリ土類金属に似た性質を示すことを相関係数から見ることができます。
筆者は最後に少量データ(~6500)である弾性率のデータに対して、形成エネルギーの原子埋め込みを転移させることで、十分な性能向上を確認したと述べています。以上が本論文の内容となります。
まとめ
本記事では分子と結晶の両方に対するGNNをベースとした物性値予測モデルを紹介しました。グローバル状態量はアイデアとして面白く、また原子の埋め込みの可視化の結果は予想外の元となりました。地球温暖化やエネルギー問題の解決につながる新材料開発の研究を推進する物性値予測の研究をこれからも読み進みていきましょう。
この記事に関するカテゴリー
