「物理－超伝導＋人生＝天文学」～FastTextを使ったCond-matのアブストラクト分析～



【イントロ】
今回の記事では、Pythonの自然言語処理ライブラリ、FastTextの一連の利用方法を習得することを目指しました。題材として、Cond-matのアブストラクトの分析をとりあげます。
【方法】
コードはこちらのGithubにあげています。
実行はGoogle colabを利用して行いました。
手順は以下の通りです。
  1. ArxivのAPIを利用して、対象カテゴリの論文のアブストラクトをCSVに保存する。
  2. 収集したアブストをFastTextに読み込み学習させ、単語ベクトルを生成する。
  3. 学習させたモデルを利用して、対象単語の類似単語、単語ベクトルの足し引きをおこなう。
以上です。簡単ですね。
詳細はコードを確認してみてください。
今回、Cond-matのカテゴリとして「Super-con」(超伝導)と「Str-el」(強相関電子系)の2つを1万件ずつ抽出しました。Cond-matの各カテゴリは、月当たり200件ほどアップロードされているので、おおよそ5年分程度の論文数になっています。
他のカテゴリも学習させればもっと賢くなりますね。知性、知性。

【結果】
主だった結果です。
まず、「Cuprates」(銅酸化物)の類似単語を調べてみました。類似単語には擬ギャップ、オーバー/アンダードープといった銅酸化物超伝導に関連した単語が見て取れます。またNickelates(ニッケル酸化物)といった超伝導メカニズムの関連性が指摘される物質の名前も上がっています。

次は、「Graphene」(グラフェン)です。二層グラフェンや、捻りグラフェンといった最近話題のマジックアングルグラフェン関連の単語がみてとれます。またグラフェンを支える基板であるh-BNを表す「Nitride」も関連単語として現れています。NIMSが誇るW&Tの影響力はここにも現れています。
さて、最後に単語ベクトルの足し引きを行ってみました。
「パリーフランス＋日本＝東京」のように単語の意味合いを維持したまま、異なるベクトルを持つ単語に変換する手法です。
試しに、「物理ー超伝導＋人生」を計算してみたところ、最も類似度の高い単語は「天文学」になりました。
つまり、「人生＝超伝導＋天文学ー物理」、人生とは物理のない超伝導天文学ということですね。どういうことだよ。
他にも色々面白い関係性を探せそうですね。
【まとめ】
FastTextの使い方を学ぶ一環として、Cond-matのアブストを分析(初歩)してみました。
まだまだいろいろ調べられそうです。



コメント

コメントを投稿

このブログの人気の投稿

交代磁性があるのかないのかどっちなんだい！～RuO2の場合～

イメージ
 【イントロ】 博士「はぁ～交代じゃ、交代じゃ」 学生「どうしたんですか？キャバクラですか？」 博士「違う違う違う違う今日は違う！交代は交代でも、交代磁性のことを調べておったんじゃ」 学生「交代磁性？」 博士「なんじゃ知らんのか？交代磁性とは、強磁性と反強磁性に次ぐ第三の磁性として最近発見された、新しい磁気状態のことなんじゃ。」 学生「知ってますよ、 Šmejkal（流暢な発音）が提案 してるやつでしょ？強磁性体のようにバンド構造にスピン分裂が生じるけれど、反強磁性体のようにNetの磁性はゼロとなっている、副格子間の反強磁性状態と解釈できる磁性体のことですよね。」 博士「そうじゃ、Šmejkal（流暢な発音）達の提案が大きなきっかけとなった研究分野じゃな。なんじゃ、知っとるじゃないか」 学生「当然です。中学入試程度です。交代磁性って、 MnTe や CrSb 、それに RuO2 で確立された概念じゃないんですか？」 よく見ると(b)がない（ 引用元 ） 博士「 どこ中出身 じゃ。。。うむ、それらの物質でARPESが行われ、交代磁性の特徴の1つであるバンド構造の巨大なスピン分裂が観測されて Nature や PRB に報告されるなど研究が加熱しておる。」 学生「ならいいんじゃないですか？流行物質どんとこい。ビッグウェーブに乗って論文を量産するタイミングですよ。h-index稼ぎましょう」 博士「しかし、そのうちの１つ、RuO2が実は交代磁性体ではなく、非磁性体なのではないかという報告がなされ議論を呼んでおるのじゃ。」 学生「どういうことですか？？？RuO2は 異常ホール効果 が見えたり、 REX（共鳴弾性X線散乱） や 中性子散乱実験 で反強磁性秩序がすでに観測されたんじゃないんですか？？？陰謀ですか？？？？」 博士「それでは今回は、独ヴュルツブルク大学のPhilipp Keßler博士らによる論文、 Philipp Keßler, et al. , Absence of magnetic order in RuO2: insights from μSR spectroscopy and neutron diffraction , arXiv:2405.10820 を読んでいくかのお」 学生「Absence論文、盛り上がるやつですね」 【どんな実験したの？】
続きを読む

狂気！室温超伝導体は脳内にあった！！！

イメージ
 【イントロ】 博士「これはすごい・・・これはすごいぞ！！！」 学生「どうしたんですか？自分の愚かさのことですか？」 博士「そうではない！ワシは出会ったんじゃ！科学史上最高の論文に！」 学生「どんな論文ですか一体」 博士「なんと 室温超伝導体 が見つかったという話じゃ！」 学生「え！室温超伝導体といえば、室温で電気抵抗がゼロになる物質で、世界を支えるエレクトロニクスに不可避なエネルギーの散逸、発熱の問題を一気に解決し、 世界のエネルギー問題を救うキーテクノロジーになる物質 じゃないですか！」 博士「その通りじゃ！」 学生「気になってきました、早く教えて下さい、その論文！」 博士「うむ…驚くなよ、なんと、 生物の脳の中では超伝導状態が実現しておる のじゃ！！！」 学生「・・・」 博士「ふふふ、あまりの衝撃に言葉もないようじゃな。」 学生「あの」 博士「では、今回は、 P. Mikheenko, Possible Superconductivity in the Brain , Journal of Superconductivity and Novel Magnetism, 2018, No 5, p. 1121-1134 （ Arxiv版 ） を読んでいくぞい！」 学生「帰っていいですか？」 【論文誌がすごい！】 博士「まずは、この論文のなにが凄いかといえば、査読を通って論文誌に掲載されておるのじゃ」 学生「ほんとですよ、どうなってんですか」 博士「そして、掲載された Journal of Superconductivity and Novel Magnetismの2022年度のImpact Factor は1.8なんじゃ。これがどういうことかわかるか？」 学生「そ、それは日本の物理学会が発行するJournal of the Physical Society of Japan、いわゆる JPSJのImpact Factor 、1.7を超えています・・・！」 博士「そうじゃな、つまり論文誌としての影響力としてはJPSJよりも大きな雑誌に掲載された論文ということじゃ」 学生「JPSJもっとがんばってくださいよ」 博士「しかもこの論文は8回も引用されておる」 学生「 みなしPRL じゃないですか・・・」 博士「これだけで如何にこの論文が本物であるか納得してもらえ
続きを読む

まだ最小二乗法で消耗してるの？ ～Passing Bablok法について～

イメージ
【イントロ】 与えられたデータの傾向を見る、つまり回帰分析の一つとして、直線でフィッティングする方法が挙げられます。 ココで問題となるのが、「どうやって直線の傾き(と切片)を求めるか」という点です。 代表的な方法が最小二乗法です。目的の直線を $y=ax$ と仮定します。データ点$y$と求めたい直線との差の二乗を誤差として、すべての点に対する誤差の和を最小化する傾き$a$を求める方法です。 具体的には誤差の和を $E=\sum_{i=1}^{n}(y_i－ax_i)^2$ とすると、$a$について最小値が欲しいので、 $\frac{\partial E}{\partial a}=0$ となる$a$を求めれば良いです。整理すると、 $a=\frac{\sum_{i=1}^{n}(x_i－x_{average})(y_i－y_{average})}{\sum_{i=1}^{n}(x-x_{average})^2}$ となります。 　最小二乗法は直観的にもちょうどよい直線を見つけてくれそうで、最強の方法に見えます。しかし、 いくつかの課題 があります。まず一つが、外れ値に弱いという点です。えっちですね。つまり、ノイズ等の影響でデータ点の集合から大きくハズレた点が存在すると、その点に引きずられて傾き$a$が大きく変化してしまうという点です。 　また、別の問題として、最小二乗法は暗にデータが正規分布に従った誤差を持つことを仮定している点が挙げられます。今回最小化すべき誤差をデータ点と直線の差の二乗和として与えましたが、これはデータ点の周りに分散一定の誤差が正規分布している場合に導かれる最尤推定解と対応しています。詳細は PRML を参照。 さて、それではこうした最小二乗法の呪縛から解き放たれた、 回帰モデルは存在するでしょうか？そうしたモデルとしては 主成分分析 等があります 本記事では、そうした手法の中でもノンパラメトリック回帰モデルの一つである”Passing-Bablok法”について、 原論文 に従った解説とPythonでの実装に取り組みました。 【方法】 Passing-Bablok法はその名の通り、PassingとBablok(PB)により提案された、一次の比例関係を比較するノンパラメトリック回
続きを読む