「Python 実践データ分析100本ノック」の感想文と注意点



「Python 実践データ分析100本ノック」を読みました。
普段はエクセルしか使わないんですが、Pythonでもデータ分析できるようになりたいな～と思っていたところちょうどいよいテーマの本が出ていたので購入。1本ずつ写経を続け、100本達成したので、感想文と注意点（正誤表？）を備忘録代わりにまとめます。

・自習用にデータファイルと.ipynb形式のノートブックとその解答がついているため、本文に記載されているプログラムを写経しながら分析の流れを自分の手で実行できます。
・データの前処理のやり方が最初の章になっています。データ分析はデータの前処理が一番大変（？）と言っても過言ではないので、ここにページを割いているのはいいなぁとおもいました。もちろん、これだけで前処理を極められるものでは当然ないですが、こういう処理が必要ですよ、と認識できるのは良いと思いました。
・データのプロットだけではなく、画像処理や自然言語処理まで触れるので楽しいです。もちろん表層だけなので細かいところは専門書で更に突き詰める必要があります。
・後半のネットワーク分析や動画処理のところは、自前PCだと少し重かったりするので、Google colab notebookなどのクラウド上で処理したほうが速いとおもいます。パッケージさえ使えれば、Notebookの使い勝手は変わりませんから。
・今回自前PCのAnaconda 環境で処理を実行しましたが、ところ所、プリインストールされていないパッケージが利用されていますので、適宜必要なパッケージをインストールする必要があります。これが案外大変なので要注意です。その点、上記のColab等のほうがやはり、やりやすいかもしれません。
・今回データ分析の雰囲気がつかめたので、今度は自然言語処理とかでもう少し深く勉強していきたいなと思っています。おもしろいので。
まあ、仕事では一切使わないスキルですが、、、

以下、気になった注意点（自環境での正誤表）です。
オリジナルの正誤表はこちらのサポートページで確認できます。
なお、じぶんの使用した私用PC(ﾄﾞｯw)のスペックと環境はこちらの記事のとおりです。
一文字打つたびにフリーズする労働で使用しているPCの100倍有能です＞＜
全般
・こちらの本(第一版第一刷)が想定する環境はPython3.7（Anaconda)です。自分の使用していた環境はPython3.6でしたので、Anaconda を最新版に再インストールして更新しました。他にもNumpy等が最新版でないと上手く動かないパッケージ等もあったので、必要に応じて最新版の環境に更新する必要があります。
・文章中のソース・コードと参考画像として載っている実行時のノートブック画面が一致していない場合があります。文章中のソース・コードで上手く行かない場合は画像の方をよく観てみましょう。そちらが正解の場合もあります。
第3章
Page 76：.isna() → isnull()にするとエラー解消
Page 83：パッケージ”dateutil”をインストールする必要あり。
".iloc[i]"の部分でなぜか警告がでるが、実行は可能。
Page 87：encoding="utf8"を入れるとエラー解消
第4章
Page 108：encoding="utf8"を入れるとエラー解消
第5章
Page 129：If文中の”オールタイム、デイタイム、ナイト”のところは、
”campaign_name”→”class_name”にするとエラー解消
（こうしないと意味が通らない気がする）
第6章
Page 143： pd.merge()中について、on→left_onに変更、right_index=Trueを追加するとエラー解消。
Page 153： len(G.edges)→ len(G.edges(data=True))にするとエラー解消
第7章
Page 178：このページのソース・コードを実行するには、
”pyparsing”、”ortoolpy”、”pulp”の最新版をインストールする必要性がある。
第8章
Page 195：相図のところは計算が少し重いので、クラウド上で実行したほうが容易い。特にノック79。正直ここだけ重すぎる。重すぎてコードが間違ってるかもわからない。
第9章
パッケージ”OpenCV”をインストールする必要がある。こちらのOpenCVをインストールするための記事を参考にしました。
パッケージDlib”をインストールする必要がある。こちらのDlibをインストールするための記事を参考にしました。
第10章
Page 236： survey["comment"].head() → survey.head()
にすると参考画像の通りの出力となる。
パッケージ”MeCab”をインストールする必要がある。こちらのMeCabをインストールするための記事を参考にしました。

コメント

  1. Unknown2020年3月17日 6:35

    Water Hack Burns 2lb of Fat OVERNIGHT

    Over 160,000 men and women are using a easy and SECRET "liquid hack" to burn 1-2 lbs every night while they sleep.

    It is scientific and works on anybody.

    This is how you can do it yourself:

    1) Hold a glass and fill it up with water half the way

    2) Proceed to use this proven HACK

    you'll be 1-2 lbs skinnier as soon as tomorrow!

    返信削除
  2. Fujii Kosuke2020年4月19日 10:21

    わたしも同じ本を最近読んでいます。が、初心者のためか、意味のわからないところがあります。教えてもらえませんか？
    具体的には、第6章P152のところで、

    num_pre = 0
    (省略)
    # エッジの重みの追加
    if num_pre<len(G.edges):
    num_pre = len(G.edges)
    weight = 0

    とあるのですが、num_preがなんのために設定された変数なのか
    よくわからず、この3行の処理の意味も理解ができないのです。
    もしよかったら教えてください。

    返信削除

コメントを投稿

このブログの人気の投稿

交代磁性があるのかないのかどっちなんだい！～RuO2の場合～

イメージ
 【イントロ】 博士「はぁ～交代じゃ、交代じゃ」 学生「どうしたんですか？キャバクラですか？」 博士「違う違う違う違う今日は違う！交代は交代でも、交代磁性のことを調べておったんじゃ」 学生「交代磁性？」 博士「なんじゃ知らんのか？交代磁性とは、強磁性と反強磁性に次ぐ第三の磁性として最近発見された、新しい磁気状態のことなんじゃ。」 学生「知ってますよ、 Šmejkal（流暢な発音）が提案 してるやつでしょ？強磁性体のようにバンド構造にスピン分裂が生じるけれど、反強磁性体のようにNetの磁性はゼロとなっている、副格子間の反強磁性状態と解釈できる磁性体のことですよね。」 博士「そうじゃ、Šmejkal（流暢な発音）達の提案が大きなきっかけとなった研究分野じゃな。なんじゃ、知っとるじゃないか」 学生「当然です。中学入試程度です。交代磁性って、 MnTe や CrSb 、それに RuO2 で確立された概念じゃないんですか？」 よく見ると(b)がない（ 引用元 ） 博士「 どこ中出身 じゃ。。。うむ、それらの物質でARPESが行われ、交代磁性の特徴の1つであるバンド構造の巨大なスピン分裂が観測されて Nature や PRB に報告されるなど研究が加熱しておる。」 学生「ならいいんじゃないですか？流行物質どんとこい。ビッグウェーブに乗って論文を量産するタイミングですよ。h-index稼ぎましょう」 博士「しかし、そのうちの１つ、RuO2が実は交代磁性体ではなく、非磁性体なのではないかという報告がなされ議論を呼んでおるのじゃ。」 学生「どういうことですか？？？RuO2は 異常ホール効果 が見えたり、 REX（共鳴弾性X線散乱） や 中性子散乱実験 で反強磁性秩序がすでに観測されたんじゃないんですか？？？陰謀ですか？？？？」 博士「それでは今回は、独ヴュルツブルク大学のPhilipp Keßler博士らによる論文、 Philipp Keßler, et al. , Absence of magnetic order in RuO2: insights from μSR spectroscopy and neutron diffraction , arXiv:2405.10820 を読んでいくかのお」 学生「Absence論文、盛り上がるやつですね」 【どんな実験したの？】
続きを読む

狂気！室温超伝導体は脳内にあった！！！

イメージ
 【イントロ】 博士「これはすごい・・・これはすごいぞ！！！」 学生「どうしたんですか？自分の愚かさのことですか？」 博士「そうではない！ワシは出会ったんじゃ！科学史上最高の論文に！」 学生「どんな論文ですか一体」 博士「なんと 室温超伝導体 が見つかったという話じゃ！」 学生「え！室温超伝導体といえば、室温で電気抵抗がゼロになる物質で、世界を支えるエレクトロニクスに不可避なエネルギーの散逸、発熱の問題を一気に解決し、 世界のエネルギー問題を救うキーテクノロジーになる物質 じゃないですか！」 博士「その通りじゃ！」 学生「気になってきました、早く教えて下さい、その論文！」 博士「うむ…驚くなよ、なんと、 生物の脳の中では超伝導状態が実現しておる のじゃ！！！」 学生「・・・」 博士「ふふふ、あまりの衝撃に言葉もないようじゃな。」 学生「あの」 博士「では、今回は、 P. Mikheenko, Possible Superconductivity in the Brain , Journal of Superconductivity and Novel Magnetism, 2018, No 5, p. 1121-1134 （ Arxiv版 ） を読んでいくぞい！」 学生「帰っていいですか？」 【論文誌がすごい！】 博士「まずは、この論文のなにが凄いかといえば、査読を通って論文誌に掲載されておるのじゃ」 学生「ほんとですよ、どうなってんですか」 博士「そして、掲載された Journal of Superconductivity and Novel Magnetismの2022年度のImpact Factor は1.8なんじゃ。これがどういうことかわかるか？」 学生「そ、それは日本の物理学会が発行するJournal of the Physical Society of Japan、いわゆる JPSJのImpact Factor 、1.7を超えています・・・！」 博士「そうじゃな、つまり論文誌としての影響力としてはJPSJよりも大きな雑誌に掲載された論文ということじゃ」 学生「JPSJもっとがんばってくださいよ」 博士「しかもこの論文は8回も引用されておる」 学生「 みなしPRL じゃないですか・・・」 博士「これだけで如何にこの論文が本物であるか納得してもらえ
続きを読む

まだ最小二乗法で消耗してるの？ ～Passing Bablok法について～

イメージ
【イントロ】 与えられたデータの傾向を見る、つまり回帰分析の一つとして、直線でフィッティングする方法が挙げられます。 ココで問題となるのが、「どうやって直線の傾き(と切片)を求めるか」という点です。 代表的な方法が最小二乗法です。目的の直線を $y=ax$ と仮定します。データ点$y$と求めたい直線との差の二乗を誤差として、すべての点に対する誤差の和を最小化する傾き$a$を求める方法です。 具体的には誤差の和を $E=\sum_{i=1}^{n}(y_i－ax_i)^2$ とすると、$a$について最小値が欲しいので、 $\frac{\partial E}{\partial a}=0$ となる$a$を求めれば良いです。整理すると、 $a=\frac{\sum_{i=1}^{n}(x_i－x_{average})(y_i－y_{average})}{\sum_{i=1}^{n}(x-x_{average})^2}$ となります。 　最小二乗法は直観的にもちょうどよい直線を見つけてくれそうで、最強の方法に見えます。しかし、 いくつかの課題 があります。まず一つが、外れ値に弱いという点です。えっちですね。つまり、ノイズ等の影響でデータ点の集合から大きくハズレた点が存在すると、その点に引きずられて傾き$a$が大きく変化してしまうという点です。 　また、別の問題として、最小二乗法は暗にデータが正規分布に従った誤差を持つことを仮定している点が挙げられます。今回最小化すべき誤差をデータ点と直線の差の二乗和として与えましたが、これはデータ点の周りに分散一定の誤差が正規分布している場合に導かれる最尤推定解と対応しています。詳細は PRML を参照。 さて、それではこうした最小二乗法の呪縛から解き放たれた、 回帰モデルは存在するでしょうか？そうしたモデルとしては 主成分分析 等があります 本記事では、そうした手法の中でもノンパラメトリック回帰モデルの一つである”Passing-Bablok法”について、 原論文 に従った解説とPythonでの実装に取り組みました。 【方法】 Passing-Bablok法はその名の通り、PassingとBablok(PB)により提案された、一次の比例関係を比較するノンパラメトリック回
続きを読む