电商-广告投放效果分析-约250行（KMeans聚类、数据分析）.zip

#!/usr/bin/env python # coding: utf-8 # <h1>Table of Contents<span class="tocSkip"></span></h1> # <div class="toc"><ul class="toc-item"><li><span><a href="#项目介绍" data-toc-modified-id="项目介绍-1">项目介绍</a></span><ul class="toc-item"><li><ul class="toc-item"><li><span><a href="#数据维度概况" data-toc-modified-id="数据维度概况-1.0.1">数据维度概况</a></span></li><li><span><a href="#数据13个维度介绍" data-toc-modified-id="数据13个维度介绍-1.0.2">数据13个维度介绍</a></span></li></ul></li></ul></li><li><span><a href="#导入库，加载数据" data-toc-modified-id="导入库，加载数据-2">导入库，加载数据</a></span><ul class="toc-item"><li><span><a href="#数据审查" data-toc-modified-id="数据审查-2.1">数据审查</a></span></li></ul></li><li><span><a href="#数据处理" data-toc-modified-id="数据处理-3">数据处理</a></span></li><li><span><a href="#建立模型" data-toc-modified-id="建立模型-4">建立模型</a></span></li><li><span><a href="#聚类结果特征分析与展示" data-toc-modified-id="聚类结果特征分析与展示-5">聚类结果特征分析与展示</a></span></li><li><span><a href="#数据结论" data-toc-modified-id="数据结论-6">数据结论</a></span></li></ul></div> # ## 项目介绍 # 假如公司投放广告的渠道很多，每个渠道的客户性质也可能不同，比如在优酷视频投广告和今日头条投放广告，效果可能会有差异。现在需要对广告效果分析实现有针对性的广告效果测量和优化工作。 # # 本案例，通过各类广告渠道90天内额日均UV，平均注册率、平均搜索率、访问深度、平均停留时长、订单转化率、投放时间、素材类型、广告类型、合作方式、广告尺寸和广告卖点等特征，将渠道分类，找出每类渠道的重点特征，为加下来的业务讨论和数据分析提供支持。 # #### 数据维度概况 # # 除了渠道唯一标识，共12个维度，889行，有缺失值，有异常值。 # # #### 数据13个维度介绍 # # 1、渠道代号：渠道唯一标识 # 2、日均UV：每天的独立访问量 # 3、平均注册率=日均注册用户数/平均每日访问量 # 4、平均搜索量：每个访问的搜索量 # 5、访问深度：总页面浏览量/平均每天的访问量 # 6、平均停留时长=总停留时长/平均每天的访问量 # 7、订单转化率=总订单数量/平均每天的访客量 # 8、投放时间：每个广告在外投放的天数 # 9、素材类型：'jpg' 'swf' 'gif' 'sp' # 10、广告类型：banner、tips、不确定、横幅、暂停 # 11、合作方式：'roi' 'cpc' 'cpm' 'cpd' # 12、广告尺寸：'140*40' '308*388' '450*300' '600*90' '480*360' '960*126' '900*120' # '390*270' # 13、广告卖点：打折、满减、满赠、秒杀、直降、满返 # ## 导入库，加载数据 # In[28]: import pandas as pd import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler,OneHotEncoder from sklearn.metrics import silhouette_score # 导入轮廓系数指标 from sklearn.cluster import KMeans # KMeans模块 ## 设置属性防止中文乱码 mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] = False # 以上是加载库的国际惯例，OneHotEncoder是独热编码，如果一个类别特征有n个类别，将该变量按照类别分裂成N维新变量，包含则标记为1，否则为0，用N维特征表示原来的特征。 # In[29]: raw_data = pd.read_csv(r'./ad_performance.csv') raw_data.head() # 渠道代号是唯一标识，日均UV到投放总时间是数值型（float和int）变量，后面是字符型变量。 # ### 数据审查 # In[30]: # 查看基本状态 raw_data.head(2) # 打印输出前2条数据 # In[31]: raw_data.info()# 打印数据类型分布 # In[32]: raw_data.describe().round(2).T # 打印原始数据基本描述性信息 # 上面代码，分别展示前两条数据、所有特征的数据类型、以及数值型特征的五值分布 # 查看缺失值情况： # In[33]: # 缺失值审查 na_cols = raw_data.isnull().any(axis=0) # 查看每一列是否具有缺失值 na_cols # In[34]: raw_data.isnull().sum().sort_values(ascending=False)# 查看具有缺失值的行总记录数 # 变量之间的相关性分析： # In[35]: # 相关性分析 raw_data.corr(numeric_only=True).round(2).T # 打印原始数据相关性信息 # In[36]: # 相关性可视化展示 import seaborn as sns corr = raw_data.corr().round(2) sns.heatmap(corr,cmap='Reds',annot = True) # 可以看到，“访问深度”和“平均停留时间”相关性比较高，相关性高说明两个变量在建立模型的时候，作用是一样或者效果是一样的，可以考虑组合或者删除其一。 # ## 数据处理 # 数据了解的差不多了，我们开始时处理数据，把常规数据通过清洗、转换、规约、聚合、抽样等方式变成机器学习可以识别或者提升准确度的数据。 # In[37]: # 1 删除平均平均停留时间列 raw_data2 = raw_data.drop(['平均停留时间'],axis=1) # 类别变量的独热编码： # In[38]: # 类别变量取值 cols=["素材类型","广告类型","合作方式","广告尺寸","广告卖点"] for x in cols: data=raw_data2[x].unique() print("变量【{0}】的取值有：\n{1}".format(x,data)) print("-·"*20) # In[39]: # 字符串分类独热编码处理 cols = ['素材类型','广告类型','合作方式','广告尺寸','广告卖点'] model_ohe = OneHotEncoder(sparse=False) # 建立OneHotEncode对象 ohe_matrix = model_ohe.fit_transform(raw_data2[cols]) # 直接转换 print(ohe_matrix[:2]) # In[40]: # 用pandas的方法 ohe_matrix1=pd.get_dummies(raw_data2[cols]) ohe_matrix1.head(5) # 数据标准化： # In[42]: # 数据标准化 sacle_matrix = raw_data2.iloc[:, 1:7] # 获得要转换的矩阵 model_scaler = MinMaxScaler() # 建立MinMaxScaler模型对象 data_scaled = model_scaler.fit_transform(sacle_matrix) # MinMaxScaler标准化处理 print(data_scaled.round(2)) # 数据处理完，我们将独热编码的数据和标准化转化后的数据合并： # In[43]: # # 合并所有维度 X = np.hstack((data_scaled, ohe_matrix)) # 数据处理完，就可以带入模型进行训练了。 # ## 建立模型 # # In[44]: # 通过平均轮廓系数检验得到最佳KMeans聚类模型 score_list = list() # 用来存储每个K下模型的平局轮廓系数 silhouette_int = -1 # 初始化的平均轮廓系数阀值 for n_clusters in range(2, 8): # 遍历从2到5几个有限组 model_kmeans = KMeans(n_clusters=n_clusters) # 建立聚类模型对象 labels_tmp = model_kmeans.fit_predict(X) # 训练聚类模型 silhouette_tmp = silhouette_score(X, labels_tmp) # 得到每个K下的平均轮廓系数 if silhouette_tmp > silhouette_int: # 如果平均轮廓系数更高 best_k = n_clusters # 保存K将最好的K存储下来 silhouette_int = silhouette_tmp # 保存平均轮廓得分 best_kmeans = model_kmeans # 保存模型实例对象 cluster_labels_k = labels_tmp # 保存聚类标签 score_list.append([n_clusters, silhouette_tmp]) # 将每次K及其得分追加到列表 print('{:*^60}'.format('K值对应的轮廓系数:')) print(np.array(score_list)) # 打印输出所有K下的详细得分 print('最优的K值是:{0} \n对应的轮廓系数是:{1}'.format(best_k, silhouette_int)) # 总体思想（评价指标）还是怎么聚才能使得簇内距离足够小，簇与簇之间平均距离足够大来评判。 # ## 聚类结果特征分析与展示 # 通过上面模型，我们其实给每个观测（样本）打了个标签clusters，即他属于4类中的哪一类： # In[45]: # 将原始数据与聚类标签整合 cluster_labels = pd.DataFrame(clu