「Python 実践データ分析100本ノック」の感想文と注意点



「Python 実践データ分析100本ノック」を読みました。
普段はエクセルしか使わないんですが、Pythonでもデータ分析できるようになりたいな～と思っていたところちょうどいよいテーマの本が出ていたので購入。1本ずつ写経を続け、100本達成したので、感想文と注意点（正誤表？）を備忘録代わりにまとめます。

・自習用にデータファイルと.ipynb形式のノートブックとその解答がついているため、本文に記載されているプログラムを写経しながら分析の流れを自分の手で実行できます。
・データの前処理のやり方が最初の章になっています。データ分析はデータの前処理が一番大変（？）と言っても過言ではないので、ここにページを割いているのはいいなぁとおもいました。もちろん、これだけで前処理を極められるものでは当然ないですが、こういう処理が必要ですよ、と認識できるのは良いと思いました。
・データのプロットだけではなく、画像処理や自然言語処理まで触れるので楽しいです。もちろん表層だけなので細かいところは専門書で更に突き詰める必要があります。
・後半のネットワーク分析や動画処理のところは、自前PCだと少し重かったりするので、Google colab notebookなどのクラウド上で処理したほうが速いとおもいます。パッケージさえ使えれば、Notebookの使い勝手は変わりませんから。
・今回自前PCのAnaconda 環境で処理を実行しましたが、ところ所、プリインストールされていないパッケージが利用されていますので、適宜必要なパッケージをインストールする必要があります。これが案外大変なので要注意です。その点、上記のColab等のほうがやはり、やりやすいかもしれません。
・今回データ分析の雰囲気がつかめたので、今度は自然言語処理とかでもう少し深く勉強していきたいなと思っています。おもしろいので。
まあ、仕事では一切使わないスキルですが、、、

以下、気になった注意点（自環境での正誤表）です。
オリジナルの正誤表はこちらのサポートページで確認できます。
なお、じぶんの使用した私用PC(ﾄﾞｯw)のスペックと環境はこちらの記事のとおりです。
一文字打つたびにフリーズする労働で使用しているPCの100倍有能です＞＜
全般
・こちらの本(第一版第一刷)が想定する環境はPython3.7（Anaconda)です。自分の使用していた環境はPython3.6でしたので、Anaconda を最新版に再インストールして更新しました。他にもNumpy等が最新版でないと上手く動かないパッケージ等もあったので、必要に応じて最新版の環境に更新する必要があります。
・文章中のソース・コードと参考画像として載っている実行時のノートブック画面が一致していない場合があります。文章中のソース・コードで上手く行かない場合は画像の方をよく観てみましょう。そちらが正解の場合もあります。
第3章
Page 76：.isna() → isnull()にするとエラー解消
Page 83：パッケージ”dateutil”をインストールする必要あり。
".iloc[i]"の部分でなぜか警告がでるが、実行は可能。
Page 87：encoding="utf8"を入れるとエラー解消
第4章
Page 108：encoding="utf8"を入れるとエラー解消
第5章
Page 129：If文中の”オールタイム、デイタイム、ナイト”のところは、
”campaign_name”→”class_name”にするとエラー解消
（こうしないと意味が通らない気がする）
第6章
Page 143： pd.merge()中について、on→left_onに変更、right_index=Trueを追加するとエラー解消。
Page 153： len(G.edges)→ len(G.edges(data=True))にするとエラー解消
第7章
Page 178：このページのソース・コードを実行するには、
”pyparsing”、”ortoolpy”、”pulp”の最新版をインストールする必要性がある。
第8章
Page 195：相図のところは計算が少し重いので、クラウド上で実行したほうが容易い。特にノック79。正直ここだけ重すぎる。重すぎてコードが間違ってるかもわからない。
第9章
パッケージ”OpenCV”をインストールする必要がある。こちらのOpenCVをインストールするための記事を参考にしました。
パッケージDlib”をインストールする必要がある。こちらのDlibをインストールするための記事を参考にしました。
第10章
Page 236： survey["comment"].head() → survey.head()
にすると参考画像の通りの出力となる。
パッケージ”MeCab”をインストールする必要がある。こちらのMeCabをインストールするための記事を参考にしました。

コメント

  1. Unknown2020年3月17日 6:35

    Water Hack Burns 2lb of Fat OVERNIGHT

    Over 160,000 men and women are using a easy and SECRET "liquid hack" to burn 1-2 lbs every night while they sleep.

    It is scientific and works on anybody.

    This is how you can do it yourself:

    1) Hold a glass and fill it up with water half the way

    2) Proceed to use this proven HACK

    you'll be 1-2 lbs skinnier as soon as tomorrow!

    返信削除
  2. Fujii Kosuke2020年4月19日 10:21

    わたしも同じ本を最近読んでいます。が、初心者のためか、意味のわからないところがあります。教えてもらえませんか？
    具体的には、第6章P152のところで、

    num_pre = 0
    (省略)
    # エッジの重みの追加
    if num_pre<len(G.edges):
    num_pre = len(G.edges)
    weight = 0

    とあるのですが、num_preがなんのために設定された変数なのか
    よくわからず、この3行の処理の意味も理解ができないのです。
    もしよかったら教えてください。

    返信削除

コメントを投稿

このブログの人気の投稿

有機物量子スピン液体の熱伝導論争の流れを振り返る

イメージ
初版：2022/1/23 第2版：2022/5/23 第3版：2022/6/30  [イントロ] 　量子スピン液体は、 P. W. Anderson によって提唱された磁性体の新奇な磁気状態です。この状態は、スピンフラストレーションによる大きな量子ゆらぎにより、極低温でもスピンが秩序化しない状態です[1, 2]。 　この量子スピン液体研究のブレークスルーの1つが、三角格子有機磁性体β′-EtMe3Sb[Pd(dmit)2]2における比熱、磁化率、そして熱伝導度の金属的振る舞いです。その結果は、量子スピン液体状態におけるスピノンFermi面の存在を示唆しており、注目を集めています。しかし、これらの測定結果のうち、熱伝導度の測定結果について2019年以来、日本のグループと中国、カナダのグループで矛盾した結果が報告されており、議論が続いています。 　そこで本記事では、この議論の経緯をまとめてみることにします。 [論争の流れ] 　有機物量子スピン液体の熱伝導論争は、おおよそ以下のような経緯をたどっています。国内外の学会で議論された内容もあるようですが、公に出版されている論文を元にまとめています。また、実際にはArxivに論文が出た時点でこれらの議論が始まっていましたが、下記では出版されている論文を引用しています。Arxivのバージョン間の内容の違いをみれば、リアルタイムで議論が行われている様子がわかりますのでご参考ください。 (※2022/2/19 追記：一部議論の時系列に誤りがあるとのご指摘をコメントで頂きました。正確な時系列は、コメント欄の加藤先生のご解説、及び下記論文のArxiv版バージョン間の議論の変化をご確認ください。） 有機物量子スピン液体候補物質の1つ、β′-EtMe3Sb[Pd(dmit)2]2が絶縁体にも関わらず、極低温で金属並の熱伝導度を示すことが京大グループによりScience誌に報告される。 ・M. Yamashita et al., Science 328, 1246 (2010) 図、β′-EtMe3Sb[Pd(dmit)2]2の熱伝導度の温度依存性 9年後、中国とカナダのグループが独立に追試を行ったところ、極低温の熱伝導度がゼロになり、Science論文の結果を再現できなかったことをPRLとPRXにそれぞれ報告する。 ・J. M. N
続きを読む

【改題】室温超伝導ふたたび！～大丈夫じゃなかった、Natureの論文だもん！～

イメージ
  ※追記5（20240309） Natureから、2つの論文撤回に至る裏側を取材した記事がでました。 マッチポンプかな？ Superconductivity scandal: the inside story of deception in a rising star's physics lab https://www.nature.com/articles/d41586-024-00716-2 ※追記4（20231107） ついに、Natureからの撤回が報告されました。悲しいね。 Retraction Note: Evidence of near-ambient superconductivity in a N-doped lutetium hydride https://www.nature.com/articles/s41586-023-06774-2 Nature retracts controversial superconductivity paper by embattled physicist https://www.nature.com/articles/d41586-023-03398-4 ※追記３（20230929） 共著者11人中8人がNature編集部に論文撤回を申し入れる事態となりました。 WSJとScience、NYTが相次いで記事を出しています。 実験室に保管された生データから、Natureへ提出したBG除去方法でゼロ抵抗を再現できず、比熱の測定にも問題があるとのことです。 Dias師本人は問題を否定しいるようですが、事態は急展開を見せています。 Co-Authors Seek to Retract Paper Claiming Superconductor Breakthrough https://www.wsj.com/science/room-temperature-superconductor-retract-journal-nature-e554536a?st=4dk5p97ezqeeg1x Another retraction looms for embattled physicist behind blockbuster superconductivity claims h
続きを読む

2023年7月の気になった論文（完全版）

イメージ
 7月、今年の後半戦がはじまる・・・ ※Amazonアフィにアクセスしてくれると感謝🙇 https://amzn.to/3ND5K0r V1 20230708 V2 20230717 V3 20230723 V4 20230730 v5 20230805 ・冷却原子でビックバンの研究、熱い ・粉体における準結晶自己組織化、おもろい ・相対論的温度、魅力的な分野だ ・水素化ルテチウム室温超伝導、只の金属－非導体転移説、悲しい ・無限層ニッケル酸化物にはCDWはない。銅酸化物とはちがうんや ・不揮発性磁場制御熱スイッチング、すず鉛はんだかぁ ・1111のSb置換でみる軌道ゆらぎ、このご時世に渋い ・ルテネイトの非相反伝導、なんでもみえるね ・ニッケルの軌道流、最近オービトロニクス流行ってるね ・グラフェンは相対論的でも非相対論的でもない、どういうことだってばよ ・鉄セレンのネマティック相内の格子と独立な軌道分極、同時測定すごい ・vdW準結晶超伝導、STMとかできそう ・スピン空間群の完全分類、量がすごい ・ニッケル酸化物高圧超伝導の追試成功、流行りくるな（ほんまか？） ・電流バイアスジョセフソン接合におけるフェルミオン/ボソン的振る舞い、どういうことだってばよ ・ニッケル酸化物高圧高温超伝導のゼロ抵抗確認と非フェルミ液体的振る舞い、いつもの ・相対論的量子ホール効果、かっこいい ・常圧室温超伝導体、ありがとうございました ・スピン空間群分類、最近の流行りやね ・量子群れ理論、アクティブまたーおもろいね ・トポカゴメ金属超伝導の電子ホール非対称性、すき ・重力理論とフェルミ面の歪、おもろい ・ARPESで超伝導ギャップの位相がわかる、ほんまか工藤 ・量子電流センサー、テクさを感じる ー8/4ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー Some remarks on possible superconductivity of composition Pb9CuP6O25 https://arxiv.org/abs/2308.01723 「他のグループが元の結果を簡単に再現するとは考えにくいです。ここでは、成功するために役立つかもしれないいくつかのコメントを提供します。」 Successful growth and room temperat
続きを読む