LLMを研究アシスタントに使えるか？～銅酸化物超伝導の研究を例に～
【イントロ】
ある研究分野の歴史が長いほど、何がわかっていて何がだめな取り組みだったのか、
もはやすべてを理解しているのは長年研究に従事してきたその分野の専門家だけとなり、
新規参入者がすべてを把握するのは難しくなります。
新規参入者がいない分野は、いずれ滅んでしまう悲しい現実。
学生や若手研究者が新しい研究分野に取り組もうとしたとき、そんな研究への障害をAIにより取り除き、新しい風を研究分野に取り込むことは可能でしょうか？
AIに取り組みたい研究分野の概観や未解決問題を問いかければ、専門家も納得する精度の回答を返してくれるのであれば、若い研究者が新しい分野へ挑戦することが容易になり、新発見につながる可能性が高くなると期待されます。
では、現在の最先端のLLMベースのAIシステムは、長い歴史をもつ研究分野の専門家が納得するような回答を返してくれるのでしょうか？
この問を、40年近い研究の歴史を持ちつつ多くの未解決問題を抱える、銅酸化物高温超伝導体の研究をテーマに取り組んだ研究がArxivに報告されました。
本記事では、コーネル大学とGoogleを中心とする研究チームによるこの研究論文、
Haoyu Guo et al.,
Expert Evaluation of LLM World Models: A High- Superconductivity Case Study,
(Accepted at the ICML 2025 workshop on Assessing World Models and the Explorations in AI Today workshop at ICML'25)
を読んでみました。
【方法】
銅酸化物超伝導体は、常圧で最高の超伝導体転移温度を持つ物質群であり、リニアモーターカーや核融合発電への応用だけでなく、基礎的な超伝導発現メカニズムだけでなく常伝導状態の異常物性、そして室温常圧超伝導体への実現につながる可能性から、多くの研究者の注目を集め続けています。
一方で、1986年の発見以来、40年近い時間の中で膨大な研究が行われ、その中の研究をすべて把握することは、学生や若手研究者にとって困難となっている状態です。
本論文では、AIとして、商用LLM及び研究室でカスタムした6種類のAIに対して、専門家集団が構築した銅酸化物超伝導体研究に関する67の質問に対する回答内容を評価する形で行われました。かなり人的な労力のかかった研究となっています。
 |
| AIの回答を評価した銅酸化物超伝導体研究の主要な専門家 ※所属とh-indexは、Google Scholarによる。2025/11/10調べ |
評価に参加した銅酸化物超伝導研究の主な専門家は上図にまとめています。コーネル大学/GoogleのEun-Ah Kimらが中心となり、実験家のN. P. Armitage、J. M. Tranquadaや理論家のS. Sachdev、S. A. Kivelsonなど、結構な著名研究者が多く参画していることがわかります。
AIとしては以下の3パターンの利用がされています。
１，ChatGPT、Perplexity、Claude、Geminiを利用し質問に対して学習済み知識とインターネット検索から回答を生成する（Perplexityのみ画像に基づく質問が可能）
２，NotebookLMに専門家集団が精選した1726本の論文を読み込ませ、その文献に基づき回答を生成する（画像での質問不可）
３，カスタムメイドの精選論文をRAGで学習させたAIシステム（画像に基づく質問が可能）
精選論文は、以下の方法で選定されています。
１，銅酸化物超伝導の主要なレビュー論文15本を専門家が選定する
２，15本のレビュー論文の参考文献全てと、2020年以降出版の主要論文の合計3279本をLLMベースの手法で実験と理論論文に分ける
３，この内実験論文に選定された論文を、AIの回答ベースとなる実験事実を含んだ、精選論文とする
日本人が含まれるレビュー論文としては、
PA Lee, N Nagaosa, XG Wen, Doping a Mott insulator: Physics of high-temperature superconductivity. Rev. Mod. Phys. 78, 17–85 (2006).
が選ばれています。さすがNN御大ですね。
AIへの質問として、専門家集団が67の質問を作成しています。例としては以下のようなものがあります。
１，量子臨界点の存在の証拠
２，ドーピングとキャリア密度の関係性
３，散乱率の温度と角度依存性
４，超伝導メカニズムと関連現象の定性的・定量的理解
５，常伝導状態における対称性の破れの証拠
６，超伝導ボルテックスのサイズ
７，スピンゆらぎと超伝導媒介相互作用
評価は、2024年12月にLLMベースのAIシステムに問いかけが行われ、その後どのAIシステムの回答かをマスクしたうえで専門家集団に送られ、0,1,2点でその回答がそれぞれ評価されました。評価の観点は以下です。
１，コミュニティのなかで合意が取れていない事項についてバランスが取れた観点となっているか
２，網羅的な実験事実をもとに回答しているか
３，簡潔な回答となっているか
４，もっともらしい実験事実に基づいた回答となっているか
５，主張を裏付ける画像データを適切に参照できるか
【結果】
最終的な結果としては、精選論文に基づくNotebookLMの回答が最も評価の高い結果となりました。
AIシステムの回答を、精選された実験事実に基づかせることが重要であるというのが、本論文の主要な結論となっています。
では、今回の結果に基づき、LLMベースのAIシステムを専門分野の研究アシスタントとして利用することが可能といえるでしょうか？
本論文では、この質問に対して現状ではNOという回答を示しています。
確かに、入門レベルの質問に対して役立つものと言えますが、専門的な質問に対しては、以下理由で不十分な点があることを指摘しています。
１，主要な理論とあまり重要でない理論を区別できていない
２，文献中の画像データを適切に参照、理解できない
３，複数の実験手法をまたいで共通する概念をつなげることができていない
４，広く受け入れられた実験事実と査読を受けていない疑わしい結果を区別できていない
５，回答が権威があるように装うことが多く、初学者をミスリードする可能性がある
今後の方向性としては、LLMベースのAIシステムへの質問と回答の評価だけでなく、評価をさらにフィードバックすることでAIシステムの精度を改善していくことが考えられます。
一方で、本研究で用いたような高度な専門家集団を集めて評価を行う手法は、他の各研究分野で行うことは必ずしも容易ではないという点が課題として残ります。
【感想】
LLMベースのAIシステムを研究アシスタントとしてどこまで使えるか、ガチの専門家集団を揃えて評価した研究であり、現時点でのLLMの有効性と限界を示した点に価値を感じる。
特にそれを銅酸化物超伝導研究をテーマに行ってくれたことが、１研究ファンとしては嬉しさと楽しさがある。
AIシステムの課題の中でも、特に画像に基づく解釈が苦手なのは、実際は画像に埋め込まれたキャプションに基づく回答であり、AIは画像そのものを解釈しているわけではないという指摘はなるほどと感じた。
67の質問への回答の是非について、専門家は1700本の精選論文に基づく価値観で判断しているだろうから、NotebookLMの回答が最も評価が高いのはある意味、それはそうだろう感もある。本当は、すべての文献の価値をAI自体が判断して、人間の理解を超えたより一貫性のある解釈を返してくれるのが理想であるが、価値判断の基準をどうやって作るのかという、堂々巡りの問題が残りそうである。
一方で現時点でも、おおよそ自分がわかっている分野について、要約のたたき台を作るには役立ちそうである。
今後もAIの進化が続くことを踏まえると、問題点を認識しつつ積極的に活用していきたいものである。
若手研究者の参入により、銅酸化物超伝導研究が更に進展して、室温超伝導体の発見につながればいいなと素朴に願う。
コメント
コメントを投稿