１章 ウェブの注文数を分析する１０本

ここでは、ある企業のECサイトでの商品の注文数の推移を分析していきます。
データの属性を理解し、分析をするためにデータを加工した後、
データの可視化を行うことで問題を発見していくプロセスを学びます。

１：データを読み込んでみよう

Q. pandasのインポート

import pandas as pd

Q. customer_master.csvをcustomer_masterに格納し冒頭五行を表示

customer_master = pd.read_csv("customer_master.csv")

customer_master.head(5)

Q. item_master.csvをitem_masterに格納し冒頭五行を表示

item_master = pd.read_csv("item_master.csv")

item_master.head(5)

transaction_1csvをtransaction_1に格納し冒頭五行を表示

transaction_1 = pd.read_csv("transaction_1.csv")

transaction_1.head()

transaction_detail_1.csvをtransaction_detail_1格納し冒頭五行を表示

transaction_detail_1 = pd.read_csv("transaction_detail_1.csv")

transaction_detail_1.head(5)

２：データを結合(ユニオン)してみよう

transaction_2.csvをtransaction_2格納し冒頭五行を表示

transaction_2 = pd.read_csv("transaction_2.csv")

Q. transaction_1と2を結合しtransactionに格納し冒頭五行を表示

transaction = pd.concat([transaction_1,transaction_2],ignore_index=True)

transaction.head(5)

Q. transaction_1と2とtransactionの長さを表示

print(len(transaction_1))
print(len(transaction_2))
print(len(transaction_1)+len(transaction_2))
print(len(transaction))

5000
1786
6786
6786

transaction_detail_2.csvをtransaction_detail_2格納し冒頭五行を表示

transaction_detail_2 = pd.read_csv("transaction_detail_2.csv")

transaction_detail_2.head(5)

Q. transaction_detail_1と2を結合しtransaction_detailに格納し冒頭五行を表示

transaction_detail = pd.concat([transaction_detail_1,transaction_detail_2],ignore_index=True)

transaction_detail.head(5)

Q. transaction_detail_1と2の合計がtransaction_detailの総数と合致することをprint無しで一行で表示

len(transaction_detail_1)+len(transaction_detail_2)==len(transaction_detail)

True

３：売上データ同士を結合(ジョイン)してみよう

Q. transaction_detailとtransactionを横結合しjoin_dataに格納

• transaction_detailは全列
• transaction:"transaction_id","payment_date","customer_id"
• transaction_idで結合
• left

'マージ|結合
join_data = pd.merge(transaction_detail,transaction[["transaction_id","payment_date","customer_id"]], on="transaction_id", how="left")

join_data.head()

４：マスタデータを結合(ジョイン)してみよう

Q. join_dataとcustomer_masterを横結合しjoin_dataに格納

• join_dataは全列
• customer_master:"customer_id"
• customer_idで結合
• left

#横結合|マージ
join_data=pd.merge(join_data,customer_master,on="customer_id",how="left")

join_data.head(5)

join_data=pd.merge(join_data,item_master,on="item_id",how="left")

join_data.head(5)

5：必要なデータ列を作ろう

Q. 列を追加(quantity*item_price -> price列)

#列追加
join_data["price"]=join_data["quantity"]*join_data["item_price"]

join_data[["quantity","item_price","price"]].head(5)

join_data.head(1)

6：データ検算をしよう

Q. join_dataとtransactionのpriceの合計をそれぞれ表示

print(join_data["price"].sum())
print(transaction["price"].sum())
join_data["price"].sum()==transaction["price"].sum()

971135000
971135000

True

7：各種統計量を把握しよう

Q.欠損値の合計を表示

#欠損値
join_data.isnull().sum()

detail_id             0
transaction_id        0
item_id               0
quantity              0
payment_date          0
customer_id           0
customer_name         0
registration_date     0
customer_name_kana    0
email                 0
gender                0
age                   0
birth                 0
pref                  0
item_name             0
item_price            0
price                 0
dtype: int64

各種統計量　（std=標準偏差、四分位数(シブンイスウ))

join_data.describe()

payment_dateカラムの値で集計範囲を確認

print(join_data["payment_date"].min())　#最小
print(join_data["payment_date"].max())　#最大

2019-02-01 01:36:57
2019-07-31 23:41:38

payment_dateカラムの値で集計範囲を確認

8：月別でデータを集計してみよう

join_dataの各カラムのデータ型を確認

join_data.dtypes　#データ型の確認

detail_id              int64
transaction_id        object
item_id               object
quantity               int64
payment_date          object
customer_id           object
customer_name         object
registration_date     object
customer_name_kana    object
email                 object
gender                object
age                    int64
birth                 object
pref                  object
item_name             object
item_price             int64
price                  int64
dtype: object

Q.payment_dateをdatetime型に変換

#datetime型に変換
join_data["payment_date"] = pd.to_datetime(join_data["payment_date"])

Q.payment_dateを年/月で文字列に変換し、payment_monthへ格納

join_data["payment_month"]=join_data["payment_date"].dt.strftime("%Y%m")
#strftime(): 日付、時間から文字列への変換　(dtはdatetime)
#※strptime(): 文字列から日付、時間への変換

payment_dateとpayment_monthの五行目を表示payment_dateを年/月で文字列に変換し、payment_monthへ格納

#年/月で文字列に変換
join_data[["payment_date","payment_month"]].head(5)

Q.payment_monthでグループ化し、合計を表示

#payment_monthでグループ化し、合計を表示
join_data.groupby("payment_month").sum()

上記グループ化でpriceのみを表示

#上記グループ化でpriceのみを表示
join_data.groupby("payment_month").sum()["price"]

payment_month
201902    160185000
201903    160370000
201904    160510000
201905    155420000
201906    164030000
201907    170620000
Name: price, dtype: int64

9：月別、商品別でデータを集計してみよう

月別payment_month、商品別item_nameでデータをグループ化、priceとquantityの合計

#月別payment_month、商品別item_nameでデータをグループ化、priceとquantityの合計
join_data.groupby(["payment_month", "item_name"]).sum()[["price","quantity"]]

#上記グループ化でpriceのみを表示
join_data.groupby("payment_month").sum()["price"]

payment_month
201902    160185000
201903    160370000
201904    160510000
201905    155420000
201906    164030000
201907    170620000
Name: price, dtype: int64

Qピボットテーブル

#ピボットテーブル
pd.pivot_table(join_data, index='item_name', columns='payment_month', values=['price', 'quantity'], aggfunc='sum')

10：商品別の売上推移を可視化してみよう

Q.ピボットテーブル２ (graph_dataにピボットを格納＞冒頭を表示

#ピボットテーブル
graph_data = pd.pivot_table(join_data, index='payment_month', columns='item_name', values='price', aggfunc='sum')
graph_data.head()

Q. graph_dataをグラフで表示

• payment_monthをデータグレーム型のindexとして横軸に
  

import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(list(graph_data.index),graph_data["PC-A"], label='PC-A')
plt.plot(list(graph_data.index), graph_data["PC-B"], label='PC-B')
plt.plot(list(graph_data.index), graph_data["PC-C"], label='PC-C')
plt.plot(list(graph_data.index), graph_data["PC-D"], label='PC-D')
plt.plot(list(graph_data.index), graph_data["PC-E"], label='PC-E')
plt.legend()　#凡例の表示