【ChemReasoner】量子化学とLLMを活用した触媒発見フレームワーク
3つの要点
✔️ 反応に関連する化学記述子を特定し、大規模言語モデルを使って最適な触媒を発見
✔️ 自然言語推論能力を量子化学のフィードバックで強化し、複雑な触媒プロセスを予測
✔️ ChemReasonerによる言語的推論と量子化学フィードバックを統合し、触媒発見の効率化を実現
ChemReasoner: Heuristic Search over a Large Language Model's Knowledge Space using Quantum-Chemical Feedback
written by Henry W. Sprueill, Carl Edwards, Khushbu Agarwal, Mariefel V. Olarte, Udishnu Sanyal, Conrad Johnston, Hongbin Liu, Heng Ji, Sutanay Choudhury
(Submitted on 15 Feb 2024 (v1))
Comments: 9 pages, accepted by ICML 2024, final version
Subjects: Chemical Physics (physics.chem-ph); Artificial Intelligence (cs.AI); Computational Engineering, Finance, and Science (cs.CE); Machine Learning (cs.LG)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
新しい触媒を発見するためには、最適な化学記述子（特性）の組み合わせを見つける必要があります。しかし、これらは多くの場合、経験則に基づいています。化学者は、よりエネルギー効率の良い化学変換を実現するために、反応物、触媒、操作条件を頭の中で組み合わせて推論しています。ある研究（Nørskov et al., 2011）では、化学記述子を使って微視的な表面特性と巨視的な触媒性能を結びつけることが、新しい仮説を迅速に生成する鍵であるとされています。
大型言語モデルは、このようなデータ駆動型の自律的な探索を可能にし、科学的発見を加速させることができます。この論文では、目標反応に対して最適な触媒を発見するために、自然言語推論能力を量子化学のフィードバックによって強化することを目的としています。
複雑な触媒プロセスについての推論には、既存の言語モデルを超えた複数のモダリティでの構成力が必要です。これには、文献からの科学的概念や3D原子構造の予測が含まれます。最適な触媒を決定するためには、複数の巨視的特性について推論する必要があります。最初のステップは、反応に関連する化学記述子（例：「毒化抵抗」、「多孔性」）の最適な組み合わせを特定することです。これにより、推論するべき無数の可能な組み合わせが生じ、大規模言語モデルのような外部推論者（External Reasoner）が必要になります。大規模言語モデルは科学的概念の知識を活用して重要な特性を提案し、これらの特性を持つ最良の触媒を選択します。候補触媒の広大な空間を削減するためには、3D空間での原子構造間の複雑な相互作用についての推論が必要です。さらに、単純な反応は3D化学構造の吸着エネルギーで評価できますが、複雑な反応では多段階の反応経路と選択性の考慮が必要です。
この課題を解決するために、この論文では、大規模言語モデル駆動のヒューリスティック探索と、量子化学シミュレーションから学習された原子構造グラフニューラルネットワーク（GNN）による構造ベースのスコアリングを組み合わせたフレームワークを提案しています。
このフレームワークは、計算化学フィードバックに基づいてエネルギー的に有利な触媒を追求するエージェント（LLM）が存在する不確実な環境として、触媒発見を定式化しています。
探索の各ステップで、エージェントは（1）考慮すべき最適な特性セットを自動的に特定し、（2）特定された特性に基づいて新しい探索プロンプトを生成し、（3）高度な指示に従ってプロンプトを実行します。
各ステップで特定された触媒候補は、触媒-吸着体構造の3D原子表現に変換され、これにより空間的配向、反応経路のエネルギーバリア、安定性を評価し、触媒の適合性に対する報酬をもたらします。この報酬は、大規模言語モデルを最小限の外部エネルギーで反応を可能にする触媒に向けて駆動します。これは、環境に優しい工業プロセスの開発にとって重要なステップです。
この論文では、大規模言語モデルの知識空間と量子化学に基づくフィードバックを統合した新しい仮説生成およびテストのフレームワーク「ChemReasoner」を導入しています。このフレームワークにより、計算化学的方法から得られる強力なドメイン保証を備えた自然言語ベースの推論が可能になります。また、大規模言語モデルが計画する方法であるChemReasoner-Plannerは、評価ベンチマークの3つのカテゴリのうち2つで専門家が選択した化学記述子に基づく探索を上回ることが示されています。さらに、この論文では、吸着エネルギーだけに基づく触媒のスクリーニングを超え、反応経路とエネルギーバリアに関する新たな推論方法を提案しています。
システムと方法
ChemReasonerのアルゴリズムは、以下のとおりです。大きく分けて、（1）化学空間における大規模言語モデルの計画とガイドによるヒューリスティック探索と（2）密度汎関数理論（DFT）シミュレーションから学習されたグラフニューラルネットワーク（GNN）モデルによる量子化学フィードバックの2つの要素から成り立っています。
ヒューリスティック探索の目的は、ユーザーが指定した自然言語のクエリに対して、化学空間の異なる領域から候補を体系的に探索することです。これは、元のクエリ（またはプロンプト）と対応する大規模言語モデルの回答を取り、異なるスクリーニング基準を適用して、大規模言語モデルのプロンプトと回答を化学空間の絞られた領域に段階的に文脈化することで達成されます。このプロセスは下図に示されています。本論文では、ヒューリスティック探索にビームサーチ法を採用しています。
この論文の目標は、最適なプロンプトを設計するために化学記述子を探索し、これにより大規模言語モデルが触媒のクエリに対して最良の候補触媒を返すことです。一般的なプロンプトP0から始め、行動セットを用いてプロンプトを修正し、報酬関数Rに対して大規模言語モデルのの出力を改善します。注目すべきは、ChemReasoner-Plannerが独自の行動空間Aを生成することです。
探索木を（プロンプト、回答、報酬）ノードから成る階層的な木として定義しています。この木の各ノードは探索空間内の状態（以下、探索状態またはクエリ状態と呼びます）を表します。ノードは、ある行動a∈Aが1つのプロンプトを他のプロンプトに修正する場合にリンクされます。根から葉ノードまでのパスをReasoning Pathwayと呼んでいます。
Sprueillら（2023）に従い、各大規模言語モデルのプロンプトは（1）自然言語の質問（2）対象触媒に対する特定の化学記述子を含むまたは除外するリスト（3）前のクエリの候補触媒から化学空間の異なる領域に検索をシフトする方法を記述する関係演算子の3つの構造化された内部表現から成り立っています。
関係演算子として、（1）類似（2）下位分類（3）非類似の3つを使用します。各大規模言語モデルの回答は候補触媒のセットを表し、各候補は報酬関数を用いてスコアリングされます。根ノードから探索を開始し、各ノードを行動aで子ノードのセットに展開します。探索木の各層はノードの報酬に基づいて剪定されます。最終的に、最大探索深度に達した時点で、最初のプロンプトに対する全体の回答として最も高い報酬を持つノードを選択します。
プランナーは、文脈的に適切な行動を決定することで探索を体系的に拡張する役割を果たしています。探索木のルートから追跡された以前のクエリと触媒発見の完全なシーケンスに基づいて行動選択を行います。この文脈的な基盤により、科学的に一貫した方法で次の探索方向を自動的に制約できます。
探索木内の任意のノードを考慮し、プランナーが次のクエリを実行する場合（下図の左上のオレンジ色のボックス）、次に、大規模言語モデルがクエリを実行し、候補触媒のセット（例えばCu、Pdなど）を取得します。これらの各候補は3D原子表現に変換され、報酬関数で評価されます。探索木の任意の深さで全ての候補が収集され、次の反復で展開するためのサブセットのみが選択されます。このプロセスは最大木深に達するまで反復的に続きます。
総じて、言語モデルを活用して探索を文脈的に拡張することで、ChemReasoner-Plannerは解釈可能で科学的に根拠のある推論パスを生成しつつ、探索とバランスを取っています。各報酬関数は、入力された質問に対する触媒の優良性（高いほど良い）を示す実数値を返します。そして、この論文では、異なる複雑さの2つの報酬関数を実装しています。
吸着エネルギーに基づく報酬は、触媒の最も安定した結合構造の吸着エネルギーを報酬として返します。計算は、触媒（例えば「プラチナ」）および吸着物（例：「CO」）の記号表現を3D原子構造に変換することから始まります（下図右, 再掲）。
触媒の原子構造の安定性とエネルギーは、その触媒活性と選択性に直接影響を与えます。したがって、触媒-吸着物ペアの最も安定した構成を計算し、その吸着エネルギーを報酬の指標として使用します。最適化プロセス、または緩和プロセスとしても知られ、エネルギーの最小値が見つかるまで3D構造の原子位置を反復的に緩和します。その後、GNNを使用して、この状態から吸着エネルギーを計算します。
反応経路に基づく報酬は、複数の反応経路と中間段階を考慮して触媒の優良性を測定します。最初に大規模言語モデルから反応経路を取得し、各反応経路に対して各中間段階のエネルギー関数を計算します。下図は、2つの異なる触媒に対する同じ反応経路の2つのインスタンスを示しています。図が示すように、ある反応段階から次の段階に進むために必要なエネルギーは触媒によって異なります。
直感的には、低エネルギー状態から高エネルギー状態に移行することは、エネルギー地形における「丘登り」と見なすことができ（図の赤と青の矢印）、最小の丘を登る経路に最高の報酬を割り当てる関数を定式化しています。adstは反応の段階tの中間体であり、Eadstはある触媒上のadstの吸着エネルギーです。
実験
大規模言語モデルをガイドとするヒューリスティック探索に、量子化学のフィードバックを組み合わせたシステムが、最先端の大規模言語モデル単体よりも、新規で効果的な触媒を発見できるかどうかを評価するために実験を行っています。この実験は、以下の3つの主要な研究質問に焦点を当てています。
- RQ1. パフォーマンス改善の定量化：量子化学フィードバックを伴うヒューリスティック探索は、最先端の大規模言語モデルのクエリよりも優れた触媒候補を生成するか？
- RQ2. 主要コンポーネントの特性評価：計算の複雑さとシステム性能のトレードオフを制御する主要なパラメータは何か？
- RQ3. 大規模言語モデルの仮説検証：ChemReasonerが生成した仮説をどのようにドメイン知識で検証するか？ChemReasonerの計算スクリーニングをより正確で解釈可能にするためにどの領域にさらなる注意が必要か？
この実験では、データセットとして、145のクエリを含む化学に焦点を当てた推論クエリのベンチマークの拡張版を用いています。。クエリはOpenCatalyst、BioFuels、CO2-Fuelの3つの一般カテゴリに分かれています。最初の2つのカテゴリについてはSprueillら（2023）のクエリを採用し、CO2-Fuelサブセットを追加しています。
OpenCatalystはOpen Catalyst Project 2020データセットから取得した吸着物のセットから構成され、各吸着物に対して強い吸着を示す触媒を提案する必要があります（86クエリ）。BioFuelsはバイオ燃料開発のための触媒発見を対象とし（39クエリ）、これらのクエリは報酬計算のために金属触媒を対象とするように修正されています。最後に、CO2をメタノールおよびエタノール（プラットフォーム分子）に変換することを特に対象とし、これらは燃料や化学物質の製造に使用され、ネットゼロ目標を達成するための原料となります。
また、実験に使用した大規模言語モデルは、OpenAI GPT-3.5およびGPT-4を含んでいます。初めにLLama2でベンチマークを行いましたが、このドメインにおける指示追従能力が限定的であることが判明し、評価が困難になっています。GNN報酬モデルとしては、OpenCatalysisプロジェクトのGemNet-dTモデルを使用しています。各モデルの実行時設定と推論スケーリング性能はセクションC.6に記載されています。OpenAIモデルの推論は非同期実行機能を使用して並列で実行されています。GNNの推論は、DGX2/V100およびA100システム上の単一GPUで実行されています。このような設定の下で、実験を通じてChemReasonerの有効性と効率性を評価しています。
この実験では、ChemReasonerの2つの異なるバリエーションを評価しています。ChemReasoner-Expertは、触媒の専門家によって定義されたアクションスペースを持つ実装です。これらのアクション（関係演算子および記述子）は以下の通りです。
- 包含基準：高い活性、高い選択性、低コスト、新規性、低毒性、高い結合エネルギー、高い変換効率、高い可用性。
- 除外基準：低い活性、低い安定性、低い選択性、低い結合エネルギー、高コスト、高毒性、低い分散性、低い多孔性、高い希少性、低い変換効率。
- 触媒の種類：金属触媒、単金属触媒、二金属触媒、三金属触媒。
- 以前の候補セットとの関係：異なる元素を含む、類似の元素を含む、新しい元素を導入する、以前の候補から元素を含む。
これらのアクションは、同じ基準を二度使用せずに均等な確率でサンプリングされます。一方、ChemReasoner-Plannerは、専門家の指定を必要としない大規模言語モデルが提案するアクションを使用して検索空間を拡張します。
下表が示すように、ChemReasonerの両方の実装はGPT-4のベースラインを大幅に上回っています。特に、ChemReasoner-PlannerとGPT-4の組み合わせは、OpenCatalysisとBiofuelsのクエリカテゴリで最も優れた性能を発揮し、一方でChemReasoner-ExpertはCO2-Conversionのクエリで最も優れた性能を発揮しています。
また、下表に示されるように、ChemReasoner-Expertのトップ1予測は現在のメタノール合成用商業触媒と高い類似性を持ちます。また、ChemReasonerの両バリエーションの最良の解答を含むノードの平均深さを計算したところ、GPT-4を使用することで平均検索深さが11.28%削減されることが観察されました。これは、ChemReasoner-PlannerよりもChemReasoner-Expertの方が顕著であり、プランニングのアルゴリズム的貢献によって性能向上を達成しています。
CO2-ConversionクエリでのChemReasoner-Expertの強力な性能は注目に値します。特に、これはGPT-3.5-turboに基づいていることを考えると、その性能は複雑な報酬関数に関連していると考えられます。吸着エネルギーに基づく報酬関数に関連するクエリ（OpenCatalystおよびBiofuels）では、クエリが明示的に吸着エネルギーをターゲットとして言及しなくても、大規模言語モデルの優れた触媒の概念（一般的に低コスト、高選択性など）は通常、低い吸着エネルギー（高い報酬）プロファイルと一致します。したがって、プランナーは大規模言語モデルをエネルギー的に有利な触媒を検索するための最適化関数として効果的に使用します。しかし、LLMの優れた触媒の概念は、CO2変換に関連する複雑な反応経路ベースの報酬関数と必ずしも一致しない可能性があります。RLHF（Ouyang et al., 2022）に類似した方法論を使用して大規模言語モデルを微調整することが、複雑な報酬関数を持つ下流タスクに対して有望なアプローチとなることを示唆しています。
まとめ
この論文では、大規模言語モデルによる言語的推論と、原子構造に基づく報酬を統合したマルチモーダルフレームワーク「ChemReasoner」を提案しています。このフレームワークは、触媒と量子化学の原理を基盤としています。これにより、エネルギー効率の高い化学変換プロセスを開発し、気候変動に対抗するための新しい触媒構造の提案が可能となっています。
この方法は汎用性があり、生物学や化学など他の科学分野にも応用できるとしています。また、ドメインに基づいた方法を用いた強力な定量的および定性的な検証を行うことや、元の学習データセットに含まれていない新しい構造の提案をサポートすることが、今後の重要な課題とされています。
この研究は、気候変動対策としての触媒開発に新たな道を開くものであり、科学技術の進展に大きく寄与することが期待されます。
この記事に関するカテゴリー
