python の melt でグラフ化しやすいデータに加工するテクニックをまとめました。 まずは、グラフ化しにくい DataFrame型のデータを作成します。 import pandas as pd # データの作成 df = pd.DataFrame(data=[('a',1,2,3,4,5,6,7),('b',8,9,10,11,12,13,14),…

（2020/4/27 修正 コンシューマー、プロデューサーという原文の表現を、消費者、開発者という意味ではなく、本来のキューから情報を受け取る側、キューへ情報を渡す側、という意味に修正しました。） 輪読会に向けて、Amazon Builder's Library（以下、ABL）…

python の for 文の内包表現と、フォーマット済み文字列を組み合わせたテクニックです。 No.1、No.2、No.3 ... という文字+連続する数字が入った配列を簡潔な記述で作りたい場合 list = [f"No.{num}" for num in range(1, 10)] list これを応用して、トラン…

小ネタですが、pprint() でリストや辞書を整形して出力することができます。 まずは表示がややこしい辞書型のデータを作成します。 # 辞書型のデータの作成 dic = { 'C134':{"price":30,"sales":"1000","profit":200 ,"alist":[110,20,30 ,50]}, 'C623':{"pr…

輪読会の発表に向けて、Amazon Builder's Library（以下、ABL） を読んだので、簡単にまとめてみました。 テーマは「シャッフルシャーディングを使ったワークロードの分離」です。 aws.amazon.com 記事は、Amazon Web Service のシニアプリンシパルエンジニ…

for 文と groupby()でDataFrameから、指定したキーワード1カラムと、残りのDataFrameを交互に抽出することで、 タイトルどおり、pythonで通年の時系列データを各年度ごとのグラフにするときに便利なテクニックを学びましたのでまとめます。 参考 kaggle の M…

次のような各年度の各月の数字が並んでいる表があった場合、グラフ化しようとすると一筋縄ではいきませんよね。 参考）写真の表は下記をコピペすれば作成できます。 import pandas as pd df = pd.DataFrame( { "year":[2015, 2016, 2017,2018,2019,2020], 1:…

mottox2さんの、うちでやりたい〇つのこと、という記事をよみ、外出自粛とリモートワークで悶々とする中でも、自宅でこういうことやりたい！と前向きに考えるの大事だなと思いました。さっそくパクり参考にさせていただきました！ mottox2.com 欲しいもの PS…

（追記）輪読会資料を追加。 輪読会の発表に向けて、Amazon Builder's Library（以下、ABL） を読んだので、簡単にまとめてみました。 テーマは「ジッターを伴うタイムアウト、再試行、およびバックオフ」です。 aws.amazon.com ざっくり理解のためのメモ ・…

pandasよりはやいdaskをつかってみた

pythonで、転置をうまく使ってグラフ化する手法を学んだのでまとめました。 次のようなDataFrame型のデータ（df）を想定します。 player（選手）の、1days_score（1日目の得点）、2days_score（2日目の得点）、3days_score（3日目の得点）をまとめた表です。…

輪読会に向けて、Amazon Builder's Library（以下、ABL） を読んだので、簡単にまとめてみました。 テーマは「継続デリバリーによる高速化」です。 aws.amazon.com 書いたのは、Amazon Web Service のソフトウェア開発のシニアマネージャーの方で、項目は、…

pythonにてカラムが漢字のcsvファイルをDataFrame型で読み込んで加工し、csvファイルに書き出してエクセルで開いたら、カラムが文字化けしてしまったので、文字化け防止の方法をまとめます。 データは下記のものを想定します。 コードは以下のとおりです。 #…

実務で扱うcsvデータというのは、カタチがキレイでないことが多々あります。 つい最近、次のようなデータを見かけました。 ・・・カラムが2段になっている・・・ このままではxx1とかxx2とか、無意味な項目がカラムになってしまうし、意味のない行（項目1、…

pandasのDataFrame型はとても便利ですよね。 似たようなDataFrame型を連結する時、concat()を使うと思いますが、実務でしょうもないことにつまづいたので備忘で書きます。 note.nkmk.me DataFrame型 df1 と DataFrame型 df2 があるとしまして、 df1 と df2 …