首先，我们要对用户的行为类型有一定的理解，了解每个行为所代表的含义。
- # 行为类型数量统计
- ser_type_cnt = df['type_map'].value_counts()
- # 行为类型数量占比
- ser_type_pct = df['type_map'].value_counts(normalize=True)
- # 合并
- pd.concat([ser_type_cnt, ser_type_pct],axis=1).style.format("{:.2%}",subset=['proportion']).bar(subset='proportion')
-
观察结果：
指标设计可以很好的帮助我们了解业务状况、发现业务问题和异常。比如，xx企业将日活用户数作为北极星指标，针对该指标向下拆解各种细分指标，然后对各种细分指标进行优化提升，从而最终提升北极星指标，业绩大幅提升。
下面针对该项目数据中的行为类型设计一些常用的流量指标，用来监控用户行为的流量变化，比如浏览总量、浏览人数、日均访问量、人均访问数、消费用户人均访问量、消费用户人均消费次数、复购率等等。
访问量指标
针对浏览行为可以统计出一段时间内的访问量大小，即流量有多少。下面对数据中全部用户计算访问量的指标。
- # 总访问量
- pv = df[df['type_map'] == '浏览']['user_id'].count()
- print('总访问量:{}'.format(pv))
-
- # 总访客数
- uv = df['user_id'].nunique()
- print('总访客数:{}'.format(uv))
-
- # 日均访问量
- pv_per_day = pv / df['date'].nunique()
- print('日均访问量:%.0f' %pv_per_day)
-
- # 人均访问量=总访问量/总访客数
- pv_per_user = pv / uv
- print('人均访问量:%.2f' %pv_per_user)
- ------
- 总访问量:2757485
- 总访客数:440373
- 日均访问量:393926
- 人均访问量:6.26
-
消费用户流量指标
以上是对全部用户的流量指标，如果我们想分析消费用户群体，可以针对消费用户设计相关的流量指标，比如有：
- # 消费用户的唯一id
- user_pay = df[df['type_map'] == '下单']['user_id'].unique()
- print('消费用户数量:{}'.format(len(user_pay)))
-
- # 消费用户的总访问量
- pv_pay = df[df['user_id'].isin(user_pay)]['type_map'].value_counts()['浏览']
- print('消费用户总访问量:{}'.format(pv_pay))
-
- # 消费用户数占比
- user_pay_rate = len(user_pay) / uv
- print('消费用户数占比:%.2f%%' %(user_pay_rate*100))
-
- # 消费用户人均访问量
- pv_per_buy_user = pv_pay / len(user_pay)
- print('消费用户人均访问量:%.2f' %pv_per_buy_user)
-
- # 消费用户人均消费次数
- cnt_per_buy_user = df[df['type_map'] == '下单'].shape[0]/len(user_pay)
- print('消费用户人均消费次数:%.2f' %cnt_per_buy_user)
- ------
- 消费用户数量:187549
- 消费用户总访问量:1400380
- 消费用户数占比:42.59%
- 消费用户人均访问量:7.47
- 消费用户人均消费次数:1.18
-
复购率
复购行为指的是一个客户的历史下单次数至少一次以上，即再第一次购买后，过了一段时间又有了第二次、第三次购买行为。
注意：这里的复购逻辑是以人为维度，可以包括不同sku商品的下单，只要该用户总下单次数>1就算复购。因此我们对下单的用户分组统计总下单次数，然后筛选出下单次数>1的客户占总下单客户数的比例。
- # 每个用户消费总次数
- df_pay_num = df[df['type_map']=='下单'].groupby(['user_id'])['type'].count().to_frame(name='num')
- # 消费次数>=2的客户数
- repay_num = df_pay_num[df_pay_num['num']>1].shape[0]
- # 消费总客户数
- total_pay_num = df_pay_num.shape[0]
- # 复购率
- repay_rate =round(repay_num/total_pay_num,4)
- print('用户维度的复购率:%.2f%%' %(repay_rate*100))
- ------
- 用户维度的复购率:11.55%
-
对于用户维度的复购率而言，11.55%是比较低的，有很大的提升空间。可以联合运营部门设计一些权益活动吸引老客下单，提升复购率。
以上的复购率口径是人的维度，只要在电商平台下单次数大于1次就算复购。如果我们从商品的角度出发，也可以分析每个商品的复购率。
- # 对用户和商品id分组统计下单的次数
- df_sku_user_pay = df[df['type_map']=='下单'].groupby(['sku_id','user_id'], as_index=False)['type'].count()
- df_sku_user_pay.head()
-
- # 筛选每个商品下用户下单次数大于1的
- df_sku_user_repay = df_sku_user_pay[df_sku_user_pay['type']>1]
- df_sku_user_repay.head()
-
- # 对商品分组统计下单次数大于1的客户数
- df_sku_repay_cnt = df_sku_user_repay.groupby(['sku_id'], as_index=False)['user_id'].count().sort_values(by='user_id',ascending=False)
- # 对商品分组统计下单的总客户数
- df_sku_pay_cnt = df.groupby(['sku_id'], as_index=False)['type'].count()
- # 商品无复购客户的填充为0，计算复购率，按复购数量倒序排序
- df_sku_repay_rate = (pd.merge(df_sku_pay_cnt,df_sku_repay_cnt, on='sku_id', how='left')
- .fillna(0)
- .rename(columns={'type':'pay_cnt','user_id':'repay_cnt'})
- .assign(repay_rate=lambda x:x['repay_cnt']/x['pay_cnt'])
- .sort_values(by='repay_cnt',ascending=False))
- df_sku_repay_rate.head(10)
-
以上就得到了每个sku商品的复购率。下面通过可视化看下复购率大于0的分布状况，是明显的有偏分布，大多数sku的复购率都在10%以内，极少数高比如50%是因为总下单数量小，没有统计意义。
- plt.subplots(figsize=(15, 5))
- df_sku_repay_rate.loc[df_sku_repay_rate['repay_rate']>0,'repay_rate'].hist(bins=50)
- plt.show()
-
- sku_repay_avg = df_sku_repay_rate.loc[df_sku_repay_rate['repay_rate']>0,'repay_rate'].mean()
- sku_repay_med = df_sku_repay_rate.loc[df_sku_repay_rate['repay_rate']>0,'repay_rate'].median()
- sku_repay_max = df_sku_repay_rate.loc[df_sku_repay_rate['repay_cnt']>0,'repay_rate'].max()
- print('sku商品复购率大于0的均值:%.2f%%' %(sku_repay_avg*100))
- print('sku商品复购率大于0的中位数:%.2f%%' %(sku_repay_med*100))
- print('sku商品复购率的最大值:%.2f%%' %(sku_repay_max*100))
- ------
- sku商品复购率大于0的均值:3.82%
- sku商品复购率大于0的中位数:1.61%
- sku商品复购率的最大值:50.00%
-
浏览->收藏->加购物车->下单->评论，是一个用户从了解商品->交易产品->熟悉产品的过程。在这个过程中，由于每一个转化环节都会有一定流量的损失，因此流量最终会形成一个漏斗。
比如有10个用户浏览了商品，但最后加入购物车或者下单的只有7个，其他3个只是看看并没有后续行为，那么此时浏览到下单的转化率就是70%，其他环节的转化漏斗也是同理。
清楚地了解各环节转化率后，有助于我们发现薄弱环节并进行优化。同样地，各环节转化率也可以作为我们关注的指标，并按周期进行监测。
- # 筛选用户的浏览数据
- df_pv = df[df['type_map']=='浏览']
- # 筛选客户的下单数据
- df_pay = df[df['type_map']=='下单']
-
- cols = ['user_id','sku_id','action_time','type_map']
- # 将用户浏览和下单行为进行匹配
- df_pv_pay = pd.merge(df_pv[cols], df_pay[cols], on=['user_id','sku_id'], how='inner', suffixes=('_pv', '_pay'))
- df_pv_pay.head()
-
以上通过内连接将同用户同商品下存在浏览和下单行为的匹配出来。
但此时的数据还不能直接统计使用，仍需要两个关键的步骤。
第一个是，因为浏览到下单是有先后顺序的，我们的条件是下单时间一定要晚于浏览时间，因此这里我们对这个时间进一步筛选。
- # 筛选下单时间在浏览时间之后的数据
- t_0 = df_pv_pay.shape[0]
- df_pv_pay = df_pv_pay[df_pv_pay['action_time_pay'] > df_pv_pay['action_time_pv']]
- t_1 = df_pv_pay.shape[0]
- print('时间筛选前数量 %.0f'%t_0)
- print('时间筛选后数量 %.0f'%t_1)
- print('时间筛选后减少数量 %.0f'%(t_0-t_1))
- ------
- 时间筛选前数量 300673
- 时间筛选后数量 215070
- 时间筛选后减少数量 85603
-
第二个是，用户在下单一个商品之前可能有不止一次的浏览，即多个浏览对应一个下单，同理也存在一个浏览对应多个下单记录的情况（如下图所示）。
要分析从浏览到下单的转化率，我们需要以用户+商品的维度考虑，即对于同一用户同一商品下的多重行为记录要进行去重处理。举例说就是，同用户用商品下不论有多少次浏览行为，只要下单了那么都算作为一个转化，不应算作多个。
基于以上去重逻辑，我们使用groupby对同用户同商品的重复行为进行去重。
- pv_pay_dict= {}
- # 去重后的浏览用户数
- pv_cnt = df_pv.groupby(['user_id','sku_id'])['type_map'].count().shape[0]
- # 去重后的下单用户数
- pay_cnt = df_pv_pay.groupby(['user_id','sku_id'])['type_map_pv'].count().shape[0]
-
- pv_pay_rate = round(pay_cnt*100/pv_cnt,4)
- pv_pay_dict['浏览'] = 100
- pv_pay_dict['下单'] = pv_pay_rate
- print('浏览用户数 %.0f'%pv_cnt)
- print('浏览到下单的用户数 %.0f'%pay_cnt)
- print('浏览->下单转化率 %.2f%%'%pv_pay_rate)
- ------
- 浏览用户数 2228233
- 浏览到下单的用户数 162772
- 浏览->下单转化率 7.30%
-
从浏览到下单的转化率仅为7.3%，还有很大的优化空间。
接下来，我们使用pyecharts第三方包漏斗可视化。
- from pyecharts import options as opts
- from pyecharts.charts import Funnel
- from pyecharts.globals import CurrentConfig, NotebookType
- CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB
-
- pv_pay=(Funnel(opts.InitOpts(width="600px",))
- .add(
- series_name="",
- data_pair=[[k,v] for k,v in pv_pay_dict.items()],
- tooltip_opts=opts.TooltipOpts(trigger="item", formatter="{b} : {c}%"),
- label_opts=opts.LabelOpts(is_show=True, position="inside"),
- itemstyle_opts=opts.ItemStyleOpts(border_color="#fff", border_width=1)
- ))
- pv_pay.load_javascript()
- pv_pay.render_notebook()
-
多了一个环节，但分析过程与上面一样。
首先我们分别对浏览和加购物车、加购物车和下单做内连接的匹配。
这里注意一下：因为两次都是内连接，这意味着最终下单的客户一定是有浏览->加购物车->下单的行为轨迹的。但实际业务场景中，有的用户从浏览直接下单而不加入购物车，所以这种直接下单的用户群是没有包含在内的。
- # 筛选用户的加购物车数据
- df_cart = df[df['type_map']=='加购物车']
- # 浏览用户与加购物车匹配
- df_pv_cart = pd.merge(df_pv[cols], df_cart[cols], on=['user_id','sku_id'], how='inner', suffixes=('_pv', '_cart'))
- # 加购物车用户与下单匹配
- df_cart_pay = pd.merge(df_cart[cols], df_pay[cols], on=['user_id','sku_id'], how='inner', suffixes=('_cart', '_pay'))
- # 加购物车用户与下单匹配
- df_pv_cart_pay = pd.merge(df_pv_cart, df_cart_pay, on=['user_id','sku_id','action_time_cart','type_map_cart'], how='inner')
-
同样按照行为时间顺序进一步筛选。
- # 加购物车时间大于浏览时间
- t_0 = df_pv_cart.shape[0]
- df_pv_cart = df_pv_cart[df_pv_cart['action_time_cart'] > df_pv_cart['action_time_pv']]
- t_1 = df_pv_cart.shape[0]
- print('时间筛选前数量 %.0f'%t_0)
- print('时间筛选后数量 %.0f'%t_1)
- print('时间筛选后减少数量 %.0f'%(t_0-t_1))
- ------
- 时间筛选前数量 895540
- 时间筛选后数量 569174
- 时间筛选后减少数量 326366
-
- # 下单时间大于加购物车时间
- t_0 = df_cart_pay.shape[0]
- df_cart_pay = df_cart_pay[df_cart_pay['action_time_pay'] > df_cart_pay['action_time_cart']]
- t_1 = df_cart_pay.shape[0]
- print('时间筛选前数量 %.0f'%t_0)
- print('时间筛选后数量 %.0f'%t_1)
- print('时间筛选后减少数量 %.0f'%(t_0-t_1))
- ------
- 时间筛选前数量 196214
- 时间筛选后数量 182881
- 时间筛选后减少数量 13333
-
然后使用groupby对同用户同商品的重复行为进行去重。
- pv_pay_cart_dict= {}
- # 去重后浏览客户数
- pv_cnt = df_pv.groupby(['user_id','sku_id'])['type_map'].count().shape[0]
- # 去重后加购物车用户数
- cart_cnt = df_pv_cart.groupby(['user_id','sku_id'])['type_map_pv'].count().shape[0]
- # 去重后下单用户数
- pay_cnt = df_cart_pay.groupby(['user_id','sku_id'])['type_map_cart'].count().shape[0]
- # 浏览到加购物车转化率
- pv_cart_rate = round(cart_cnt*100/pv_cnt,4)
- # 浏览到加购物车到下单的转化率
- pv_cart_pay_rate = round(pay_cnt*100/pv_cnt,4)
- # 加购物车到下单的转化率
- cart_pay_rate = round(pay_cnt*100/cart_cnt,4)
-
- pv_pay_cart_dict['浏览'] = 100
- pv_pay_cart_dict['加购物车'] = pv_cart_rate
- pv_pay_cart_dict['下单'] = cart_pay_rate
- print('浏览用户数 %.0f'%pv_cnt)
- print('加购物车用户数 %.0f'%cart_cnt)
- print('下单的用户数 %.0f'%pay_cnt)
- print('浏览->加购物车转化率 %.2f%%'%pv_cart_rate)
- print('浏览->加购物车->下单转化率 %.2f%%'%pv_cart_pay_rate)
- print('加购物车->下单转化率 %.2f%%'%cart_pay_rate)
- ------
- 浏览用户数 2228233
- 加购物车用户数 354064
- 下单的用户数 137195
- 浏览->加购物车转化率 15.89%
- 浏览->加购物车->下单转化率 6.16%
- 加购物车->下单转化率 38.75%
-
同样用pyecharts进行漏斗可视化。
- pv_cart_pay=(Funnel(opts.InitOpts(width="600px",))
- .add(
- series_name="",
- sort_='none',
- data_pair=[[k,v] for k,v in pv_pay_cart_dict.items()],
- tooltip_opts=opts.TooltipOpts(trigger="item", formatter="{b} : {c}%")
- ))
- pv_cart_pay.render_notebook()
-
我们观察到，需求7中得到的转化率为7.3%，而需求8中得到的转化率为6.16%，同样都是从浏览到下单的转化，为什么结果却是不一样的呢？
这是因为，加购物车与下单并不是一种包含关系，而是一种相交的关系。二者的关系有以下三种情况（如下图）。
所以，需求7中的转化率更大，因为从浏览直接到下单，既包括了加购物车后下单也包括了直接下单；而需求8中的转化是从浏览，到加购物车，再到下单，是包含在需求7内的，所以转化率小。
用户从浏览到下单的过程中，可能会有不同的路径，比如，浏览->下单，浏览->加购物车->下单，浏览->收藏->加购物车->下单。
不同的行为路径可能有不同的特性，比如消费时长。
为了更深入研究用户行为，下面我们分析不同路径用户的消费时长，即用户从浏览开始到下单之前所用的总时长，并统计时长的分布。
需求8中我们将浏览->加购物车->下单行为进行了内连接，下面对用户和商品进行分组统计浏览与下单的时间差。其中浏览时间筛选最早浏览时间，代表第一次接触商品，下单时间筛选最早的下单时间，代表浏览和加购物车后最近的下单。
- pcp_interval = (df_pv_cart_pay.groupby(['user_id', 'sku_id'],as_index=False)
- .apply(lambda x: (x.action_time_pay.min() - x.action_time_pv.min()))
- .rename(columns={None:'interval'}))
-
以上我们得到了下单与浏览行为的时间间隔，但此时的interval变量是timedelta时间差类型，我们需要进一步转化成数值类型。
- # 获取时间差成分，筛选小时数
- pcp_interval['interval'] = pcp_interval['interval'].dt.components['hours']
-
这是使用了components方法将时间差分解，并最终转换为0-24小时的小时数值。最后使用seaborn对时间间隔进行了分布可视化。
- # 时间间隔分布可视化
- fig, ax = plt.subplots(figsize=[16,6])
- sns.countplot(x='interval', data=pcp_interval, palette='Set1')
- # 消费时长分布占比的注释
- for p in ax.patches:
- ax.annotate('{:.2f}%'.format(100*p.get_height()/len(pcp_interval['interval'])), (p.get_x() + 0.1, p.get_height() + 100))
- ax.set_yscale("log")
- plt.title('消费时间间隔')
-
通过分布结果来看，大部分用户在一个小时内完成了商品下单，大部分用户的消费意愿比较明确。
湘公网安备 43102202000103号