中国高校计算机大赛-大数据挑战赛Top13源码+学习说明.zip

# 2018-KUAISHOU-TSINGHUA-Top13-Solutions 2018中国高校计算机大赛--大数据挑战赛 Top 13 Solutions #### 初赛A Top 2,初赛B Top 5 复赛Final 13 每一次相遇都是久别重逢，下一次站在答辩台上又是何年何月，对得起自己，对得起青春。 队友的RNN:https://github.com/totoruo/KuaiShou2018-RANK13-RNN #### 题意简述:给出用户在快手APP上1-30日的历史行为，预测接下来7天(31-37)的活跃用户。定义活跃为任意一张表出现过，不考虑冷启动。 ##### 框架思考 1. 等长滑动 [1,16] [2,17] ... [8,23] ---> Predict [15,30] 2. 不等长滑动 [1,16] [1,17] ... [1,24] ---> Predict [1,30] ##### 特征工程: Tips: 以下Feature都是较为通用的，但是在不等长框架2中，需要对所有涉及到距离的计算做平滑，即除以时间窗口的长度 对APP-LAUNCH、ACTION、VIDEO表 1.对时间序列进行编码 编码方式考虑两种: a. 将用户活跃天数视为二进制数，按二进制方式对活跃天数进行加权，越接近预测日期权重越高，如6天的窗口,1,3,5 --- 101010 将其倒置，010101，转化为十进制数21 `ans += binary_day[i]*(2**i)` b. 直接按离预测日期距离进行加权 `ans += binary_day[i]*(1/(end_date-i))` 2.对时间序列进行描述性统计 一级统计特征: mean,std,median,max,min,(max-min),mode,count,nunique (在APP表中，count==nunique) 二级统计特征: skew,kurt,mad 用户登录的频域周期性: Var(fft(X['day'])) 用户登录的星期周期性: Get_Mode(X['week']) 3.对时间序列与预测日期进行时间天数交互 该用户最后一次登录距离预测日期的长度 end_date+1-x['day'].max() 该用户倒数第K次登录距离预测日期的长度 end_date+1-get_second_day(x,k) 最后一次和倒数第二次的距离 x['day'].max()-get_second_day(x,2) 4.差分一阶时间序列 用户最大/最小间隔多少天登录一次 Diff Max/Min 用户平均登录间隔 Diff Mean 用户登录间隔的稳定性 Diff Var 用户登录间隔的周期性 Var(fft(X['day'])) 对ACTION表的特殊处理 1.对时间序列进行衰减系数编码 操作数/当前天数-预测日期的距离 sigma_ans += np.log(ans[i]/(window_len-i)) 2.对时间序列与预测日期进行操作数交互 该用户最后一次/倒数第二次登录 观看Page、Action的分布 如看了3次Page 0，4次Page 1，2次Action 1，没有的行为用0填充 将多组行为拆成子图，即可实现统计User在不同页面的分布，如只在Page0发生的行为的描述性统计，mean,std等 (对Action) 该用户最后一次/K次操作当天，Count VIDEOID/AuthorID 最后一次和倒数第二次间隔中，Count VIDEOID/AuthorID 3.对Page，Action进行User的全局展开 统计每一种行为在该用户整个行为序列里的比例，如 5次点击Page 0，该用户共点击10次 Page 0，那么此处Ratio1 为0.5 统计每一种行为在当天用户里所有行为的比例，如 该用户900次点击 Page 0，当天共有1000次点击，那么此处Ratio2 为0.9 上述两种统计，可以有效防止刷单行为，正常的行为序列应当是较为平滑的点击序列，一旦出现峰值，如举报行为居多的，观看同一视频的，即可判定为刷单的特征 4.计算用户观看VIDEO的贡献序列 def GongXianDu(df): d11 = df.set_index('video_id') d11['gongxian_rate'] = df.groupby('video_id').size() d11['gongxian_rate'] = d11['gongxian_rate'] / d11['video_watched_times'] meand = d11['gongxian_rate'].mean() sumd = d11['gongxian_rate'].sum() stdd = d11['gongxian_rate'].std() skeww = d11['gongxian_rate'].skew() kurtt = d11['gongxian_rate'].kurt() return sumd,meand,stdd,skeww,kurtt temp = train_act.groupby('user_id').apply(GongXianDu) 5.计算用户是否有追星行为 最喜欢的作者有无更新行为 用户看过的视频还有多少人爱看(区分小众与大众) def FavAuthorCreate(df): most_author = df.groupby('author_id').size().sort_values(ascending=False).index[0] create_video_num = len(df[df['author_id']==most_author]['video_id'].unique()) watch_other_video_num = len(df[df['author_id']==most_author]['video_id'].unique()) watch_other_video = 1 if watch_other_video_num>1 else 0 return create_video_num , watch_other_video 对REGSITER表的挖掘 1.注册周期性，如周末的促销活动，最直观的Feature就是Week 2.周期性的交互，如在周末特定的Type组合 register['week'] * register['device_type'] register['week'] * register['register_type'] 3.类别特征间的交互，如 register['device_type'] * register['register_type'] 4.计算不同类别的使用人数，如 register_log.groupby(['register_type'])['user_id'].transform('count').values 可以计算device_type，week_rt，week_dt，rt_dt 5.计算不同类别的转化率(需滑窗计算)，groupby(['count_label_ratio'])['regsiter_type','device_type'].transform('count').vaules ##### 模型选择 Snake 的 糖尿病特征选择框架 https://github.com/luoda888/tianchi-diabetes-top12 在保留必选特征后(Encoder/FFT) 设置阈值产生两套特征 树模型: LGB 框架1 XGB 框架2 FFM : Xlearn 按特征重要性筛选TopK个特征后计算 xDeepFM 输入序列特征/Category特征 CNN/RNN 输入序列特征 ##### 模型融合 本题模型融合收益极高，我们尝试了3种方式进行模型融合，按效果来计算 Top 3 Stacking 没卵用，如果用同一套特征甚至掉分 Top 2 加权融合 相似性都是0.98 0.97左右，0.97可以有1个千的收益，0.98大概是7-8个万 Top 1 对半Blending 如用第一个滑窗测试，第二个滑窗测试，两折的Blending 收益是1.2个千 ##### 感言 首先感谢队友一直努力，到最后没有放弃，本来打算对这个题的思路写很多，但是想想自己还是菜了点，就算了。 最近这几个比赛，平安11，腾讯12，快手13，真的是10名以外的王者。 也有反思自己，很多时候挖特征的思路不太对，太喜欢一把梭，忽略了具体数据背景，忽略了具体变化 数据挖掘多的应该是自己的思考，而少一些套路性的东西。 当一切都有固定化的套路的时候，也少了很多乐趣。 快手群里还是氛围不错的，Kesci平台的态度确实也是我目前见过比较好的。 或许前天中午那个LGB的模型能跑出来，现在肯定是可以Top10的。 遗憾也有，咽下肚。 皇图霸业谈笑间，不胜人生一场醉。 走起，醉去！