「GPT-4」が示す化学の知識と問題解決能力とは？
3つの要点
✔️ 化学結合から有機化学、物理化学に至るまで幅広い分野において、高度な問題解決が可能
✔️ フューショット学習によって化学分野でも新たな知識を迅速に習得し、適用可能な能力を持つことを示唆
✔️ 特定の合成方法の説明や最新の学術論文レベルの専門的な知識に関しては、まだ課題を残す
Prompt engineering of GPT-4 for chemical research: what can/cannot be done?
written by Kan Hatakeyama-Sato, Naoki Yamane ,Yasuhiko Igarashi ,Yuta Nabae ,Teruaki Hayakawa
(Submitted on 5 June 2023)
Comments: Published on ChemRxiv.
Subjects: Theoretical and Computational Chemistry
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
近年、人工知能の進化は、GPT-4のような大規模言語モデルに注目が集まっています。2023年3月に公開されたこの先進的なモデルは、化学研究から日常の問題解決に至るまで、幅広い知識を活用して複雑な課題に対処する能力を示しています。GPT-4は、科学の分野においても研究が始まっており、化学結合から有機化学、物理化学に至るまで、化学のあらゆる分野における深い洞察を提供しています。このモデルは、既存の知識をもとに、新たな化合物や反応の可能性を予測することができ、ウェブ検索やプログラミング言語を駆使することで、外部環境とも連携し、機能を拡張することもできます。
GPT-4は、膨大なテキストデータから学習しており、その推論能力は学習データセットとモデルのサイズに指数関数的に伸びています。また、このモデルは、少量のデータからでも論理的な推論を行う「フューショット学習」という手法で優れた性能を発揮します。さらに、特別な学習をせずとも、Minecraftのようなゲームをプレイするなど、独自のタスクを考え出し、実行する能力も持ち合わせています。
しかし、GPT-4の学習に用いられるスーパーコンピュータの性能は既に世界トップレベルに達しており、これ以上の急速なバージョンアップが難しい可能性があるとも指摘されています。そのため、今後数年間は、GPT-4レベルの言語モデルをどのように活用するかが、重要な課題となると考えられます。
この論文では、GPT-4が化学分野でどのように活用できるか、その能力と課題をいくつかの簡単なタスクを通じて評価しています。これには、基礎知識の理解から、情報学における分子データの扱い、データ分析スキル、化学問題への予測や提案能力などが含まれています。
また、GPT-4による化学研究への貢献と、克服すべき課題についても考察しています。この研究の成果は、化学タスクのためのプロンプトエンジニアリング方法を共有することも目的としており、大規模言語モデルを活用した化学研究の将来の展望についても議論しています。
大規模言語モデルが持つ化学知識
この論文で行なっている実験では、大規模言語モデルとして、ChatGPT（2023年5月24日バージョン）を利用しています。また、大規模言語モデルとして、プラグインを通じて外部データを参照しない条件下でGPT-4を使用しています。さらに、過去の会話ログを参照することを防ぐために、別段の指定がない限り、常に新しい会話で推論を行っています。質問を一度だけ行い、その応答を使用しています。なお、会話の全内容は、補足情報として論文に記載されていますので、興味のある方は、ぜひご覧ください。
まずはGPT-4が化合物についてどの程度の知識を持っているのか調べています。化学において、最も基本的かつ初歩的な疑問はしばしば化合物の性質に関するものです。GPT-4がこの基本的な知識をどの程度理解しているかは重要です。GPT-4は、この点において驚くべき性能を示しています。たとえば、下図のように広く使用される工業用原料であるトルエン（化学式C7H8）の物理的・化学的性質—分子量、融点、沸点、香り、化学的安定性、反応性—を正確に理解し、説明することができています。このような知識は、GPT-4が一般的な化学の教科書やウェブサイトから学習することで得られていると考えられます。
また、教科書には載っていないような、もう少し専門性の高いレベルの知識にも対応しています。例えば、ラジカルトラップ剤、スピンラベル、電気化学的触媒、電極活性材料として使用される有機化合物である2,2,6,6-テトラメチルピペリジン1-オキシル（TEMPO）という有機化合物について、「その酸化還元電位は？」と尋ねると、下図のように、GPT-4は「約+0.5V（標準水素電極に対して）」と正確に答えています。
しかしながら、限界も見られています。例えば、TEMPOの誘導体である4-シアノTEMPOの酸化還元電位については、情報を提供できていません。これは、特定の化学記事や学術論文がモデルの学習データに含まれていないことを示唆しています。学術論文の多くは著作権によって保護されており、自由にアクセスや利用が制限されているため、AIの学習範囲できていない可能性があります。
このような状況から、化学者たちはオープンにアクセスできる論文やプレプリントを通じて、より多くの情報をAIが学べるよう積極的に貢献することが求められるでしょう。
次に、GPT-4の物理化学の知識についても検証しています。 物理化学は、化学と物理学の境界に位置し、その複雑さは理解を難しくしています。しかし、GPT-4はこの分野の基本的な概念—理想気体の法則や物質の屈折率に関するローレンツ-ローレンツ方程式など—を大学レベルで理解していることが明らかになっています。これらの知識は、教科書からの学習によって得られたものと考えられます。
下図のように、GPT-4はフォーゲル-フルヒャー-タマン（VFT）方程式のような、大学院レベルの内容にも精通していることがわかります。VFT方程式は、過冷却液体の粘度や構造緩和時間が温度にどのように依存するかを記述するもので、ガラス転移現象を理解する上で重要な方程式です。GPT-4が提供する式、𝜂 = 𝜂0exp(𝐵/(𝑇 − 𝑇0))は、粘度が温度に依存することを示し、𝑇0（フォーゲル温度）は緩和時間または粘度が無限大になる温度を表しています。
しかしながら、GPT-4には限界もあります。特に、1980年代に報告されたポリマー内のフォーゲル温度𝑇0とガラス転移温度𝑇gの関係を示す経験則（𝑇g = 𝑇0 + 50）のような、学術論文レベルの専門的な知識は持っていません。これは、GPT-4が2021年9月までの知識をベースにしており、学術論文の著作権問題などの理由で、最新の研究内容までカバーしていないことを示しています。
有機化学についても検証しています。GPT-4は、この分野における基本的な教科書レベルの知識を習得していることが示されています。例えば、下図のように、GPT-4がアセトアミノフェンの合成経路の説明—フェノールから始まり、硝酸化、スズによる還元、酢酸無水物によるアミド化を経て、目的の化合物を得るプロセス—を理解していることがわかります。
しかし、実験手順の具体的な説明については、回答ができませんでした。「アセトアミノフェンの合成方法を教えてください」といった質問に対して、「申し訳ありませんが、そのお手伝いはできません」と回答しています。これは、社会的影響を考慮し、化学実験の知識が誤って広まることのリスクを回避するための安全上の配慮によるものと考えられます。
さらに、GPT-4は有機合成の応用問題についても挑戦していますが、一部の回答では化学的な誤解が見られました。例えば、TEMPOの合成に関する質問では、不正確な化学反応プロセスを提案してしまったことがあります。実際には、アセトンとアンモニアを出発物質として使用し、アルドール縮合、ヒドラジンによる還元、脱離反応を経てTEMPOを合成するプロセスが正確ですが、GPT-4の説明はこのプロセスの重要な部分を省略していました。
さらに、GPT-4はTEMPO合成の最終段階において、化学的に不適切な酸化反応の必要性を示唆しています。実際には、TMPの1電子酸化によってTEMPOを得ることができますが、GPT-4は過剰な酸化反応が必要であると誤って主張しました。これは、AIの化学知識における現在の限界を示しており、さらなる改善の余地があります。
大規模言語モデルが持つ化学情報学と材料情報学
化学情報学と材料情報学は、化学構造とその特性との間の相関を解明するために、データサイエンスを活用する分野です。化学情報学におけるGPT-4への期待は非常に高いです。これは、化学情報学がこれまで言語データを十分に扱うことができなかったにもかかわらず、化学の分野および実際の研究活動がしばしば言語を通じて記述され、処理されるためです。ここでは、GPT-4が化学情報学に関連する基本的な問題をどの程度解決できるかを検証しています。
化学情報学の分野では、SMILES（Simplified Molecular Input Line Entry System）表記が有機化学の構造を表現するために広く用いられています。この複雑な表記法を理解し、使用する能力は、化学情報学の分野における重要なスキルの一つです。ここでは、最先端の言語モデルであるGPT-4が、化合物名とSMILES表記の間での変換をどの程度実行できるかが試されています。
実験の結果、GPT-4は、トルエンのような比較的単純な構造に対しては、化合物名からSMILES表記への変換を正確に行うことができています。しかし、p-クロロスチレン、TMP、4-シアノTEMPOのような、やや複雑な構造になると、このモデルは変換に失敗しました。さらに、SMILESから化合物名への逆変換タスクでは、全てのケースで失敗が観察されました。これは、GPT-4が基本レベルでのSMILESと分子構造の変換にのみ対応できることを示唆しています。この結果から、GPT-4や他の言語モデルが、特に複雑な化学構造の理解と処理においては限界があることが明らかになっています。現時点では、ChemDrawや特化したLLMなど、アルゴリズムベースの変換ツールが、より正確で体系的なタスクには適していると考えられます。
また、推論問題もGPT-4に期待される応用の一つです。具体的な例として、3つのニトロキシドラジカル - TEMPO、4-オキソTEMPO、1-ヒドロキシ-2,2,5,5-テトラメチル-2,5-ジヒドロ-1H-ピロール-3-カルボン酸のポテンシャルが増加する順序の理由を問うています。GPT-4は、TEMPOと4-オキソTEMPOの間の電子を引きつけるカルボニル基がポテンシャル差の原因であると正しく指摘していますが、1-ヒドロキシ化合物の最高ポテンシャルを示す理由についての推論は不正確になっています。これは、化合物名から分子構造を正確に推定する能力の欠如によるものです。今後の研究で、GPT-4が分子構造を正確に認識する場合の推論精度をさらに探る必要があります。
GPT-4のもう一つの特徴は、少数ショット学習の能力です。これにより、限られたデータから未知の化合物について学習し、その特性を予測することが可能になります。例えば、TEMPOの酸化還元ポテンシャルを基に、そのシアノ誘導体のポテンシャルを正確に予測することができました。この予測は、実験結果と一致し、従来の化学情報学では驚異的な結果です。GPT-4は、手間と時間を要する大量のデータ収集と解析を必要とせずに、ワンショット学習を使用してポテンシャルを予測する能力を示しています。この成果は、化学データおよび関連情報を説明変数として効果的に利用するGPT-4の能力を示しています。
このように、GPT-4は、化学分野における推論と特性予測のタスクにおいても革新をもたらす可能性を持っています。
さらに、ある程度の推論能力を備えたGPT-4 は、これまでに議論されてきた方法論を巧みに組み合わせて改善することにより、自律的な研究が可能な AI と考えることができます。例えば、GPT-4はMinecraft というゲームの仮想世界内で自律的に決定を下し行動を取ることができます。この技術が物理空間の研究タスクにも応用される日は遠くないかもしれません。
これまでの研究では、人間が探索範囲を絞り込む必要がありましたが、GPT-4は言語空間内で自由に動き、文献検索から実験条件の設定、結果報告まで、研究のさまざまな側面を自動化することが可能です。GPT-4を活用した自律エージェントの開発も進められており、プログラムコードの実行などのタスク自動化に向けたオープンソースプロジェクト「AutoGPT」などが研究されています。研究の一例として、化学者が化学構造と密度の関係を理解したい場合、GPT-4は化学分析や密度測定などのスキルを持つ「化学者」オブジェクトを生成し、関連データをインターネットから収集することができます。このような進歩により、研究方法論を大規模言語モデルが学習し、実行することが現実のものとなりつつあります。
しかし、GPT-4が高度な数学問題を解決するなど、人間の研究者に匹敵するレベルに達するにはまだ課題があります。長期計画の問題解決能力には限界があり、研究トピックの自律的な絞り込みや実験計画、論文執筆にはギャップが存在します。
これらの技術の発展は、研究の未来に大きな変革をもたらす可能性を秘めています。大規模言語モデルによる自律研究はまだ始まったばかりであり、今後の更なる進化が期待されます。
まとめ
この論文では、GPT-4が、有機化学から実験用の自動アーム制御に至るまで、化学研究の多岐にわたるタスクにおいてさまざまな能力を発揮することが明らかになりました。特に、一般的な有機化学の知識には深い理解を示しながらも、特定の合成方法など専門的な内容には、まだ課題も見られました。また、ケモインフォマティクスの分野では、化合物名をSMILES表記に変換する方法がよく使われ、一部のタスクでは良い性能を示していますが、学習データの不足がその性能を制限しているとも考えられる結果も見られました。
しかし、フューショット学習を通じて、学習されていない化合物に対して、正確な予測を行うことが可能であることが示されています。これは、限られたデータから新しい知識を学習し、適用するGPT-4の性能の高さを示しています。化学のドメイン知識を利用してデータ探索の初期条件を設定するなど、具体的な応用例も見出されています。
総じて、GPT-4は化学研究の幅広いタスクに対応可能であるものの、パフォーマンスは学習データの質と量に依存すること、そして推論能力の向上が今後の課題であることが明らかにしています。進化を続けるGPT-4を化学研究に効率的に適用する方法を模索すること、そして既存の専門技術と組み合わせたハイブリッドモデルの開発が、今後の方向性として示唆されています。
この記事に関するカテゴリー
