再現性のないデータはカスや…！～凝縮物性物理における再現性問題～

 【はじめに】

本記事は、A.Akrap et al.による論文、

"Report on Reproducibility in Condensed Matter Physics", arXiv:2501.18631

を趣味で読んでまとめたメモ・抄訳です。

再現性、大事ですよね。

山岡さんの再現性のないデータはカスや…！

©️美味しんぼ

【所感】

科学研究は、「巨人の肩の上にのる」と評されるように、過去の研究のなかに自らの知見を位置づけ、知のフロンティアを切り開く活動です。

一方で、別の見方をすれば、誰かのミスを最後に自分が引き受ける壮大なババ抜きとも言えます。

自分の研究が誰かの研究の礎となることを前提とすれば、自らの研究に最善を尽くすこと、そして自分が乗っているのが巨人の肩なのかそれもと砂像の上なのか注意する責任は、研究者にとって重要な姿勢といえます。

自らの研究に最善を尽くすうえで最も基本的なのが、研究結果の再現性です。この研究の再現性の危機が凝縮物性物理の分野で生じている、それが今回読んだ報告書の論旨となっています。

再現性がない研究結果は多くの研究者の時間と予算を奪うものです。研究結果の解釈には余地があり、仮に時とともに変わるとしても、その解釈のもととなる研究結果は常に再現される必要があるでしょう。仮に再現できないのであれば、その結果はコントロールされた結果ではなく偶然の数値と区別できません。まるで猿がシェイクスピアの戯曲を作り出すように。

研究者にとっての研究結果、広くは一般的な企業活動における業務の成果が与えうる影響においても再現性は前提となるものです。自らの成果に対する責任感をもって取り組むのがあるべき姿というのは理想論でしょうか。

【概要】

この論文は、凝縮物性物理で問題になっている再現性の問題について、若手からシニアな研究者、論文誌編集者、政府政策決定者、ジャーナリスト、法的専門家が集まり議論した国際会議、”International Conference on Reproducibility in Condensed Matter Physics" (@ピッツバーグ大学、2024/5/9-11)での議論内容をまとめた報告書となっています。

内容としては、「重要な結論」と「推奨される取り組み」の部分だけ読めば、何が問題視されているか、伝わってくると思います。

【イントロ】

• 凝縮物性物理、Condensed Matter Physics (CMP) はアメリカ物理学会の中で最大の会員数6700名を抱える研究分野である。
• もともとは、金属や半導体などの固体物質の性質が研究対象であったが、最近ではより幅広く、磁性体や超伝導、トポロジカル物質、ソフトマター、物質科学、量子情報までを含む幅広い分野となっている。
• CMP分野の研究により、LEDや集積回路、MRIやNMR、レーザー、携帯電話、GPS、ハードドライブなどが実現してきた。
• CMPと同様に重要な分野である、社会科学や生物・医科学では再現性の問題が議論となっている。それらの原因の一つが、透明性のない手法を伴う結果報告のバイアスにあると考えられている。
• CMP分野は、好奇心ドリブンの研究分野であるが、驚きのあるエキサイティングな研究結果が出版されやすいバイアスが存在する。この傾向は、I.Mazinにより、”逆オッカムの剃刀”と呼ばれている。同時に、研究結果の提示は、再現に必要な詳細と検証を欠き、結果の信頼性はしばしば研究者の権威により担保されている。
• 一般に物理は再現性の危機に対して免疫を持つと言われている。これは、社会科学や生物医科学と比較してデータ量が豊富であり、また自然の法則は不変であるから、原理的には、信頼性のない結果は自然消滅するからであると考えられるからである。
• しかし、結果の反証にはとくに若手研究者の何ヶ月もの時間と何千もの資金が投入されることになる。センセーショナルな主張を出版することが、それを再現し検証することよりも簡単である以上、高い一般的な再現性に基づいて研究を進めることは重要である。

【重要な結論】

• 再現性のある研究は研究者と公共への利点がある
• データとソースコードの共有が重要である
• 再現性を擁護実践する文化が必要である

【推奨される取り組み】

• 凝縮物性の研究者に向けて
• 実験結果を報告するときは、研究したすべての実験パラメータを含める
• すべての著者は、論文の出版に同意する前に、すべての一次データと解析ファイル、ソフトウェアにアクセスする
• 論文原稿、Appendix、Supplement情報には実験の再現に必要な十分な情報を含める
• 著者は一次データを可能な限り論文と一緒に公表すべき
• FAIR原則に基づきデータを公表するよう努力し、もし不可能であれば、可能な形式で公表する
• 原稿はすべてのデータに関する合理的な提示を含む必要ある
• 著者は元データから出版用の図表へ加工するための処理手順をすべて特定していなければならない
• 原稿は全てのもっともらしい結果の解釈を要約していなければならない
• 検証のために使用されたサンプル数が提示されていなければならない
• 研究グループは、内部で開発されたソースコードをリリースするための明確な方針とタイムラインを持つべきである
• CMPの各分野は、分野内における最低限の研究報告基準を定めるべきである
• 出版後に論文に誤りが見つかった場合、著者はすぐに撤回もしくは誤りの訂正を行うべきである
• 科学論文出版社に向けて
• 出版社の主観的なアピール基準ではなく、科学的妥当性に再度焦点をあてるべき
• 引用可能なリポジトリを利用し、完全なデータと処理スクリプトの利用可能性を要求すべき
• 再現研究に対する受け入れ基準を明確化すべき
• 補足資料に特別な査読要求をすべき
• 提出物に関する再現性を特に評価するガイドラインを作るべき
• 公開査読プロセスの採用を検討すべき
• 透明性のある撤回と訂正の方針、手順を起草し公表すべき
• 大学と研究所に向けて
• 出版物だけではなく、データセットとソースコードを研究アウトプットとして考慮すべき
• 再現研究への取り組みを昇進の際に考慮する
• 個々の研究者の生産性を評価する際に各種出版指数を強調すべきではない
• 研究不正の調査のために政府が定める手順に従い、すべての研究報告を完全な事実に基づいて調査すべき
• 研究不正を超えて、信頼性のない科学研究とはなにか明確に定義すべき
• 内部告発者を積極的に保護すべき
• 政府と科学研究資金提供機関に向けて
• 明確に再現研究に取り組むための資金提供を検討すべき
• 研究費申請において、再現性確保の取り組み計画も要求すべき
• 研究の再現に対する取り組みを評価し報いるべきである
• 研究助成金受領機関に対して、科学的不正の疑いを助成金供与機関に報告する方針を策定すべき

【詳細】

• 2019年のNASEM報告書によると、再現性(Reproducibility)とは、「同じ入力データ、計算ステップ、手法、ソースコード、解析条件を利用して、一致する結果を得ること」と定義される
• 一方で、複製性(Replicability)とは、「同じ科学的問いに対して取り組まれた異なる研究間で、それぞれの研究結果があり、それらが一致した結果となること」と定義される
• CMP分野における再現性についてもう少し詳細に説明すると、仮に論文の図表を元データから再現できたとしても、データや処理手順の一部が著者により選択された場合、図に含まれていないデータを含めると論文の結論が成り立たなくなる場合がある
• また、複製性について、同じ科学的な問に対して、例えば輸送測定と中性子散乱実験により研究が行われた場合でも、その結果は慎重に解釈する必要がある。仮に、異なる手法による結果が一致した結論に達したとしても、それは確証バイアスによるものである可能性があるためである
• CMPの研究は、10人以下の小規模の研究グループで行われ、研究対象は非常に多岐にわたる。また、名目上同じサンプルでも詳細は異なり、結果に影響することもある。さらに研究ごとに新しい数学モデルが提案され、メタ解析や比較が複雑になっている。仮説と研究設計を事前登録することが再現性問題への対処として挙げられることがあるが、探索的研究においては役に立たない可能性がある。また、CMP研究は時間と金がかかることもあり、再現性の評価と改善の実現にむけての課題となっている。
• 複製性の問題に対して、データの統計分析の活用がNASEM報告書では推奨されている。しかし、直感に反してCMP分野では統計分析が行えないことが多い。これは、結果が少数のサンプルでの結果に基づき報告されているためである。同様に、実験装置が複雑だったり計算コストの問題でメタ解析も滅多に行われない。統計学者からすれば、CMP分野、特にメゾスコピック物理や量子物性の分野は比較的定性的な分野であると印象を受けるであろう

【相反するインセンティブが再現性のない研究につながる】

• 再現性に関する問題の大部分は、いくつかの利害とインセンティブの衝突から生じている
• ほとんどの研究者は、結果の正確性と再現性のあるデータの保存と分析方法について教育を受けているが、注目度の高い論文の出版から得られる職業上の報酬は、ずさんな、不正確な、詐欺的な研究による悪影響を上回る事が多い
• 別の衝突は、研究結果の価値は、それを他の研究グループが実現することがいかに難しいかに依存している点にある。科学者は、他のグループが結果を出すために利用された手法やソースコードを簡単に再現できないようにすることに既得権益を持っている可能性がある
• 注目度の高い論文を出版することがゲームのようになるにつれて、肯定的な研究結果が出版されるバイアスが生み出されている。出版社は、ジャーナルの影響力を高める論文をリスクを問わず出版する事が多い。中には、出版後1週間以内に反証がなされた研究さえある。
• CMP分野では、論文の語り口が中立的なものから派手なストーリーへと歴史的に変化していると、多くのメンバーが感じている。
• 新しくて重要であると表現された主張に対する出版バイアスは、編集者や査読者の焦点を結果の正確性ではなく新規性や注目度に移すことで、認識を歪める可能性がある。

【実践の中で再現性のない研究はどのように明らかになるのか？】

• 直感的に、多くの研究者は複製性のない研究がどのようなものか認識しているが、再現性のない研究のタイプについて考えて見る必要がある。
• NASEM報告書によると、不十分な記録保持、不透明な報告、デジタル形式の陳腐化、再現者のプロセスにおける間違い、研究文化の障壁などが原因として挙げられる。

【CMP分野で再現性のない研究はどのように広がっているか】

• NASEM報告書の定義に基づくと、CMP分野の研究の殆どは再現性または複製性があるものとは言えない。なぜなら、一般的に十分なデータやソースコード、サンプルの詳細や再現手法が提示されていないからである。
• もちろん、それだけ研究の再現性がないとはいえない。しかし、確立された検証プロトコル、主要な資料の共有基準、査読におけるチェックリストが存在しないため、CMP分野の研究を再現することは非常に困難である。
• 最近では、補足資料としてより多くのデータを論文に付随させる傾向にあるが、論文の主な結論は本文中の3－5個の図表により構成されている。また、補足データが増えたとしても、それらのデータが最終的な結論を生み出すために利用されたデータを反映されているか、すなわち解析の中で結論にそぐわないデータが削除されているのかはわからない。
• 科学研究における品質管理には機密が多いため、ジャーナルや研究機関に提起された問題がコミュニティ内で共有されることがほとんど無い。これは支援しない文化、報復へのおそれ、時間のかかるまたは難解な手順、問題を共有する方法が存在しないなどの理由である。そのためある分野でどれほど信頼性のない研究が広がっているかは明らかではない。
• APSの若手研究者の12%が研究手法の信頼できない記載を見たことがあるし、7%がデータの改竄を目撃したことがあるとの調査結果がある。実際の不正の割合が最小の推定値に近いとしても、かなりの量の信頼性のない研究が存在することを示唆している。
• 実際、過去数年、CMP分野は複製性の危機に直面している。注目度の高い主張が、NatureやScienceといった論文誌から撤回されることが相次ぎ、分野を揺るがしている。
• 実験サイドでは、室温超伝導やマヨラナフェルミオンに関する研究、理論サイドでは、多体局在やAIによる物質予言に関する研究に疑問が抱かれている。
• 歴史的に科学的不正の最大の問題はベル研究所のシェーン事件であり、これはCMP分野の問題である。
• この再現性の問題についてコミュニティは気づき始めている。いくつかの意見論文が提出され、またいくつかの研究に対する再現性の確認の取り組みが進められ、複製性のなさや異なる解釈が提案されている。コメント論文で再現性なさが指摘されることもある。将来的には、このような再現性・複製性への取り組みが拡大し、文化的・手続き的・政策的レベルで変化が生じることが望まれる。

【今後のオープンサイエンス政策】

• オープンサイエンスに向けた世界的な飛躍が生じている。これは、研究成果のより透明性の高い報告として理解されている。CMP分野の研究者もこの変化に備えなければならない。
• 本会議の参加者の殆どが、再現性の改善のため、研究データの共有に同意している。しかし、データ共有の義務はコミュニティ全体にとって明確になっていない。
• ジャーナルにより宣言されることが多い、「”合理的な理由”があれば、データが利用可能になる」という点について、なにが”合理的”なのか、どういうときに”不合理”になるのかが曖昧なままになっている。この曖昧さのために、データ共有を拒否する著者の正当化の余地が多く残りすぎていると考えられる。
• 同時にデータリポジトリの利用が様々な社会的要因により妨げられている。データ共有のための技術的リソースを認識できていない、もしくはデータを公開するというポリシーを採用していないことが多い。一方で、最小限の情報量を超えるデータを共有することで、研究を先取りされてしまうのではないかという懸念を抱いている研究者もいる。また、データやソースコードが共有できるほど整理できておらず共有をためらう研究者たちもいる。
• 研究者の中にはプライバシーや知的財産権の観点から、データ共有を拒否する場合もある。しかし、そのような権利の存在を論文中で主張していない場合（Competing Interest項目に記載していない場合）、そのような主張は不当に考えられる。また、米国著作権法は、原稿やポスター、ソースコードを保護するが、データ自体は保護しないことに留意する必要がある。

【論文出版社のポリシー】

• 出版社には、彼らが結果を広める役割と機会があることを踏まえれば、自分たちが出版する論文の主張の再現性を高め検証する責任があるといえる。
• 実際、最近ではNatureやScience誌が、データ共有を促すよう出版ポリシーを改定している。
• しかし、そのような基準は解釈の余地が広いため、実際には著者や編集者により無視されているのが実際のところである。
• 同様の傾向は、APSやIOP Publishingのポリシーにも見られる。
• これらの対応にも関わらず、ジャーナルは研究の誠実性に適切に対応していないと考えられる。多くの出版社は、単に科学についてのコミュニケーションの場を提供しているだけであり、研究の品質管理を行っていないという立場である。
• Nature誌の編集長は最近、「査読者に間違いを見つける警察官のような役割を求めたくない」と述べている。
• こうしたNatureやScience誌はCMP分野の再現性のない研究の検証論文を掲載しており、称賛されるべきである。しかし、こうしたことは稀であり、同じ出版社のより低ランクの雑誌にそのような論文が計算されることが多い。査読者は新規性と画期的進歩を論文に求めるよう教育されているため、このような検証論文に当惑することが多い。
• ジャーナルは査読者に論文の再現性の評価を要求しておらず、また査読者も信頼性を評価するために十分な情報を得ていない。査読者が著者にデータを追加要求することは稀であり、著者主導で補足資料を追加することが一般的であるが、その追加基準は存在していない。また、読者は、査読の気密性のために、査読者が論文に再現性と複製性があるか確認したかはわからない。
• 問題は出版後も続く。出版された論文が信頼できないと問題提起されると、調査や撤回に時間がかかることがある。ある程度の遅れは理解できるが、これらの懸念をどのように評価すべきか明確に確立されていないため、ひどい状況でも行動に移せない場合がある。
• 編集者は間違った対応をすることが多いし、懸念コメントの発表手順が不明確で、著者や編集者、研究機関に阻害されることもある。場合によっては、懸念を示した本人に対して著者が法的措置を取る場合もある。
• 出版後、追加データを入手することは査読中よりも困難である。ジャーナルポリシーとして、著者にデータの提供を求める場合でも、同僚からのデータ提供要求に編集者が協力的であることはめったにない。
• 場合によっては、実験装置や生データのアクセスに著者が多大な労力を要する事があるのは事実である。しかし、オンラインなどの共有フォルダに簡単に生データを配置できる場合に対応しないのは理解しかねる。

【研究機関と政府機関のポリシー】

• 主要な研究機関は、既存の政府規則に従うだけでも、内部で行われる研究の再現性を保証するためにかなりの労力を要する。
• 現時点では、研究機関は再現性の取り組みの障害となることが多い。研究の公正性違反に関する論争を迅速に透明性をもって解決することに失敗しており、再現性のある研究を行うことを促進評価する内部文化を醸成できていないためである。
• 政府機関の資金提供者は、データとソースコードの共有の慣行によりもたらされる説明責任、透明性、及び情報保全に対する期待の表明を強めていることに注目すべきである。これは再現性と複製性の改善につながる考えられる。
• Musenらの報告によると、国の資金提供者は、「支援したデータを含む研究の結果を公共財とみなすようになっており、FAIRデータの利用可能性を納税者への利益」とみなしている。
• 世界中の政府は、一般的に科学的な再現性と複製性の問題が存在していることを理解している。しかし、資金が乏しい体制のもとでは、複製性の確保に向けた透明性のある統一的なポリシーを十分に制定できていない。
• APSは過去20年にわたり複製性の危機の主要因である研究不正に着目し、倫理ガイダンスを定めてきた。倫理教育は大学院で一般的になってきたが、研究不正の広がりは収まらず、過去20年にわたり顕著な減少はみられていない。
• 研究機関は研究不正の調査の中で、仮に明確な政府ポリシーが存在したり専門家集団のポリシーが存在する場合でも、それらを迂回し、事実上無視することがある。