基于DGL的图机器学习任务.zip

# MAXP-DGL-Graph-Machine-Learning-Challenge <!--  --> [ 2021 MAXP 命题赛 任务一：[基于DGL的图机器学习任务 ](https://www.biendata.xyz/competition/maxp_dgl/) ] | [ Team: *Graph@ICT* ] [2021-MAXP-DGL图机器学习大赛解决方案-8-Graph@ICT.pdf](./2021-MAXP-DGL图机器学习大赛解决方案-8-Graph@ICT.pdf) 最终Test成绩（b榜）：rank6🥉，[[获奖名单](https://www.biendata.xyz/competition/maxp_dgl/winners/)] | [[答辩视频](https://www.bilibili.com/video/BV1fr4y1v737?p=2)]。 有任何问题请联系 chihuixuan21@mails.ucas.ac.cn. P.S. [一位大佬整理的前排解决方案](https://github.com/CYBruce/MAXP-DGL-solutions)。 <!--  --> ## 依赖包： ```bash dgl-cu102==0.7.2 pytorch==1.7.0 sklearn pandas numpy datetime tqdm ... ``` ## 环境安装 <!-- 依赖包见`requirement.txt`. --> ```bash pip install -r requirement.txt ``` ## GPU + Tesla V100 (32GB) ## 关键路径 ```bash . |--dataset |--outputs |--GAMLP | |--scripts | |--output |--gnn |--node2vec ``` ## 运行 Final Test **为了完整复现，我们建议从头进行端到端的训练（Scalable GNN训练的很快）** ### 0、准备工作和数据路径 ```bash cd MAXP_DGL_Graph/ mkdir dataset # 存放所有数据集 mkdir outputs # 存放输出结果 ``` ### 1、 运行jupyter进行数据预处理 ```python # 生成feature和DGL graph process-1.ipynb process-2.ipynb process-3.ipynb process-4.ipynb # 根据test nodes构造sample_submission_for_test.csv gen_test_submitcsv.ipynb ``` ### 2、构造必要的id--index映射关系 ```bash cd gnn/ python3 csv_idx_map.py ``` ### 3、运行node2vec得到所有节点的embedding ```bash cd node2vec/ nohup python main.py > ../outputs/node2vec.log 2>&1 & ``` 大约需要12h。 也可以直接下载`node2vec_emb.zip`，放到`./dataset`中并解压。链接: [https://pan.baidu.com/s/1Kg3bLPJ6q8yUNjiPtQUBtA](https://pan.baidu.com/s/1Kg3bLPJ6q8yUNjiPtQUBtA) 密码: dvuw ### 4、训练node2vec特征增强的GAMLP (8-fold) ```bash cd GAMLP/scripts/ nohup bash train_maxp_kfold.sh > ../output/gamlp.log 2>&1 & ``` 大约需要16h。 也可以直接下载`gamlp_ckpt.zip`，放到`./dataset`中并解压，**解压后可以不跑第4步以及之前的代码，直接运行第5步**。链接: [https://pan.baidu.com/s/1Q3v0Hlwqu8qI9-SCNBjt4A](https://pan.baidu.com/s/1Q3v0Hlwqu8qI9-SCNBjt4A) 密码: tn8h 每一折的best model模型文件`model.zip`可以从此处下载，解压后放到`./GAMLP/output/maxp`中。链接: [https://pan.baidu.com/s/1JfYz0oUcVexxMoCZzsTqXQ](https://pan.baidu.com/s/1JfYz0oUcVexxMoCZzsTqXQ) 密码: 6e5b ### 5、C&S和模型融合 ```bash cd GAMLP/ nohup python3 ensemble.py --all_train --gpu 1 > ./output/ensem.log 2>&1 & ``` 大约需要2h。 ### 6、下载submit文件 最终test：`./outputs/submit_test_gamlp_ensem_xxxx-xx-xx_n2v.csv` 最终valid：`./outputs/submit_val_gamlp_ensem_xxxx-xx-xx_n2v.csv` | Method | Score | |:-:|:-:| | GAMLP (leaky-relu, 9 hops, 8-fold) + node2vec + C&S (DAD, AD) + Model Merge (+GAMLP_8fold_seed_{0-2}) | 49.7822086481499 | | GAMLP (leaky-relu, 9 hops, 8-fold) + C&S (DAD, AD) + Model Merge (+GAMLP_8fold_seed_{0-2}) | 49.7923833548815 | | GAMLP (leaky-relu, 9 hops, 8-fold) + C&S (DAD, AD) + Model Merge (+GAMLP_8fold_seed_{0}) | 49.7767704428278 | ---- ## Valid提交结果 a榜（Valid）结果记录。a榜最终成绩为14。 |Date | Method | Score | |:-:|:-:|:-:| | 2021-11-17 | GAMLP (leaky-relu, 9 hops, 8-fold) + node2vec + C&S (DAD, AD) + Model Merge (+GAMLP_8fold_seed_{0-1}) | 55.53829808307 | | 2021-11-13 | GAMLP (leaky-relu, 9 hops) + node2vec + C&S (DAD, AD) + Model Merge (+GAMLP_seed_{0-9}) + lr adjustment | 55.5081350224647 | | 2021-11-08 | GAMLP (leaky-relu) + node2vec + C&S + Model Merge (+GAMLP_seed_{0-9}) | 55.3825306357653 | | 2021-11-06 | GAMLP + node2vec + C&S + Model Merge (+GAMLP_seed_{0-9}) | 55.3694749826675 | | 2021-11-05| GAMLP + node2vec + C&S + Model Merge (+GAMLP_seed_1, +SAGN_SE_stage_0, +SAGN_SE_stage_2, +SAGE, +GAT) | 55.0993580220235 | | 2021-11-04| GAMLP + node2vec + C&S + Model Merge (+SAGN-SE, +SAGE, +GAT) | 55.0070680604702 | | 2021-10-31 | SAGN + node2vec + SE + Model Merge (+GAT, +SAGE) + C&S | 54.5420166932282 | | 2021-10-24 | GAT + node2vec + FLAG + C&S + Model Merge (+SAGE, +GCN) | 54.2394856973069 | | 2021-10-22 | GAT + node2vec + FLAG + C&S | 53.9846753644328 | | ... | ... | ... | | 2021-10-18 | GAT+res+bn+dropout+train_label的特征增强+FLAG +增加训练epoch（5--10） | 52.95 | | 2021-10-17 | GAT+res+bn+dropout+train_label的特征增强+FLAG +inception（已注释） | 小于52.53 | | 2021-10-15 | GAT+res+bn+dropout+train_label的特征增强 +FLAG | 52.53 | | 2021-10-15 | GAT+res+bn+dropout +train_label的特征增强 | 51.27 | | 2021-10-14 | GAT+ res+bn+dropout，调整了采样策略 | 50.79 | | 2021-10-13 | GraphSAGE +一些tricks | 48.48 | | 2021-10-13 | GraphSAGE（baseline） | 48.14 | <!-- ## 代码库包括2个部分： 1. 用于数据预处理的4个Jupyter Notebook 2. 用DGL构建的3个GNN模型(GCN,GraphSage和GAT)，以及训练模型所用的代码和辅助函数。 --> ## 全部探索如下： [查看项目的整个目录树.](#Tree) 平均 degree: 16.9152 (加上反向边和self-loop后) ### 运行jupyter进行数据预处理 ```bash cd MAXP_DGL_Graph/ mkdir dataset mkdir outputs ``` 对于4个Jupyter Notebook文件，请使用Jupyter环境运行，并注意把其中的竞赛数据文件所在的文件夹替换为你自己保存数据文件的文件夹。 并记录下你处理完成后的数据文件所在的位置，供下面模型训练使用。 ### 运行node2vec并保存Embedding ```bash cd node2vec/ # run node2vec in backward nohup python main.py > ../outputs/node2vec.log 2>&1 & tail -f ../outputs/node2vec.log ``` 结果保存在`../dataset/emb.pt`中， 下载链接[emb.pt](https://drive.google.com/u/0/uc?id=1gvJQBTbl8sIaJND_tBVA3Ua2TcU-4Kfy&export=download) (1.7GB)。 ### 运行SGC并保存Embedding ```bash cd sgc/ python3 main.py ``` 结果保存在`../dataset/sgc_emb.pt`中。 ### 运行GNN模型并保存test结果 对于GNN的模型，需要先cd到gnn目录，然后运行： ```bash cd gnn/ # generate index map python csv_idx_map.py # then run gnn in backward nohup python3 model_train.py --GPU 1 --use_emb node2vec --use_label --flag --all_train > ../outputs/train1.log 2>&1 & # check the result in terminal tail -f ../outputs/train1.log # or python3 model_train.py --data_path ../dataset --gnn_model graphsage --hidden_dim 64 --n_layers 2 --fanout 20,20 --batch_size 4096 --GPU 1 --out_path ./ ``` test结果保存在`../outputs/submit_xxxx-xx-xx.csv`中。 ### 使用C&S方法并进行模型融合 目前融合GAT， GraphSAGE， GCN， 对logits进行加权求和。 ```bash # pretrain model in backward cd gnn/ # graphattn nohup python3 model_train.py --GPU 1 --use_emb node2vec --save_emb --all_train > ../outputs/train1.log 2>&1 & # graphsage nohup python3 model_train.py --GPU 0 --use_emb node2vec --save_emb --gnn_model graphsage --flag --all_train > ../outputs/train.log 2>&1 & # graphconv nohup python3 model_train.py --GPU 1 --use_emb node2vec --save_emb --gnn_model graphconv --flag --all_train > ../outputs/train1.log 2>&1 & # run c&s cd ../correct_and_smooth python3 main.py --all_train ``` inference logits保存在`../dataset.y_soft.pt` (GAT), `../dataset.y_soft_sage.pt` (GraphSAGE), `../dataset.y_soft_conv.pt` (GCN)中。 test结果保存在`../outputs/submit_cs_xxxx-xx-xx.csv`中。 ### SAGN+SE使用方法 进入`SAGN_with_SLE`文件夹，按照指示进行运行。 ```bash cd SAGN_with_SLE/scripts/maxp nohup bash train_maxp_sagn_use_label.sh > ../../outputs/sagn.log 2>&1 & # c&s + merge models cd SAGN_with_SLE/src/ python3 post_process.py ``` inference logits保存在`./SAGN_with_SLE/intermediate_outputs/maxp/sagn/use_labels_False_use_feats_True_K_5_label_K_9_probs_seed_*_stage_*.pt