Python实例：网络爬虫抓取豆瓣3万本书-详细注释版

1.179.176.37:8080@HTTP#泰国 TOT公共有限公司 1.179.146.153:8080@HTTP#泰国 TOT公共有限公司 1.179.198.37:8080@HTTP#泰国 TOT公共有限公司 1.234.45.50:3128@HTTP#韩国 SK电讯 1.255.53.81:80@HTTP#韩国 SK电讯 5.22.195.148:80@HTTP#【匿】伊朗 5.135.161.61:3128@HTTP#法国 5.141.9.86:8080@HTTP#俄罗斯 5.160.247.16:8080@HTTP#伊朗 5.196.99.243:3128@HTTP#德国 5.196.208.4:3128@HTTP#【匿】德国 23.24.89.193:7004@HTTP#【匿】美国 新泽西州月桂山镇Comcast商业通信有限公司 23.97.213.142:8118@HTTP#【匿】美国 Microsoft公司 27.254.47.203:80@HTTP#泰国 31.25.141.148:8080@HTTP#伊拉克 31.131.67.76:8080@HTTP#乌克兰 31.163.192.38:3128@HTTP#俄罗斯 31.173.74.73:8080@HTTP#【匿】罗马尼亚 36.78.129.35:8080@HTTP#印度尼西亚 37.152.48.101:3128@HTTP#英国 37.187.117.157:3128@HTTP#法国 37.187.253.39:8115@HTTP#法国 39.121.75.125:8118@HTTP#【匿】韩国 40.118.241.73:3128@HTTP#美国 41.72.105.38:3128@HTTP#赞比亚 41.72.201.78:3128@HTTP#肯尼亚 41.74.78.202:3128@HTTP#利比亚 41.77.146.77:3128@HTTP#赞比亚 41.79.60.202:8080@HTTP#塞舌尔 41.154.0.190:3128@HTTP#南非 46.8.48.26:80@HTTP#俄罗斯 46.16.226.10:8080@HTTP#俄罗斯 46.105.152.93:8898@HTTP#【匿】德国 OVH SAS 46.105.211.32:3128@HTTP#德国 OVH SAS 46.223.42.37:80@HTTP#【匿】德国 47.88.0.146:3128@HTTP#加拿大 49.1.244.139:3128@HTTP#韩国 60.253.99.42:8080@HTTP#印度尼西亚 61.19.30.198:8080@HTTP#泰国 61.75.2.124:3128@HTTP#韩国 61.247.186.138:8080@HTTP#孟加拉 62.176.13.22:8088@HTTP#俄罗斯 62.201.213.82:8080@HTTP#伊拉克 62.213.67.83:80@HTTP#俄罗斯 62.241.149.172:8080@HTTP#埃及 64.62.233.67:80@HTTP#【匿】美国 加利福尼亚州弗里蒙特市Hurricane Electric公司 71.162.154.163:3130@HTTP#美国 弗吉尼亚州劳登县阿什本地区Verizon Online有限公司 74.143.193.83:3128@HTTP#【匿】美国 肯塔基州Louisville市Insight通讯公司 74.143.193.83:8080@HTTP#【匿】美国 肯塔基州Louisville市Insight通讯公司 77.73.109.20:8080@HTTP#俄罗斯 77.89.248.54:80@HTTP#摩尔多瓦 77.245.110.111:8080@HTTP#哈萨克斯坦 78.39.252.125:8080@HTTP#伊朗 德黑兰市 79.111.187.94:80@HTTP#【匿】俄罗斯 79.120.72.222:3128@HTTP#俄罗斯 80.26.158.79:8080@HTTP#西班牙 80.242.219.50:3128@HTTP#【匿】哈萨克斯坦 80.249.92.47:8080@HTTP#白俄罗斯 81.192.166.122:3128@HTTP#摩洛哥 82.99.197.1:8080@HTTP#伊朗 德黑兰 82.193.149.178:8080@HTTP#俄罗斯 83.221.208.217:8080@HTTP#【匿】俄罗斯 83.234.14.185:8080@HTTP#俄罗斯 83.246.134.171:3128@HTTP#俄罗斯 85.15.176.223:8080@HTTP#【匿】俄罗斯 85.132.36.35:8080@HTTP#阿塞拜疆 85.185.42.6:8080@HTTP#伊朗 85.236.25.18:9090@HTTP#俄罗斯 86.100.118.44:80@HTTP#【匿】立陶宛 86.100.118.44:81@HTTP#【匿】立陶宛 87.98.163.66:80@HTTP#【匿】法国 OVH SAS 87.98.218.86:3128@HTTP#法国 巴黎OVH系统公司 88.82.172.237:7777@HTTP#俄罗斯 雅库茨克市Optilink公司 88.255.148.24:8080@HTTP#土耳其 89.218.214.106:9090@HTTP#哈萨克斯坦 89.218.214.170:9090@HTTP#哈萨克斯坦 90.154.127.19:8000@HTTP#俄罗斯 91.108.131.250:8080@HTTP#伊朗 91.121.153.214:3128@HTTP#法国 巴黎OVH SAS数据中心 91.144.170.31:8080@HTTP#俄罗斯 91.183.124.41:80@HTTP#【匿】比利时 91.210.192.235:8080@HTTP#俄罗斯 91.217.42.4:8080@HTTP#俄罗斯 91.220.124.35:80@HTTP#亚美尼亚 92.90.81.58:8081@HTTP#法国 92.255.187.219:8080@HTTP#俄罗斯 94.23.200.49:3128@HTTP#法国 94.74.150.19:8080@HTTP#伊朗 94.228.198.82:8080@HTTP#俄罗斯 94.228.207.26:80@HTTP#俄罗斯 103.23.103.196:8080@HTTP#印度尼西亚 103.26.192.163:8080@HTTP#蒙古 103.240.242.98:3129@HTTP#亚太地区 103.249.91.1:8080@HTTP#印度 103.251.43.53:80@HTTP#【匿】印度 104.42.238.153:3128@HTTP#北美地区 104.238.83.28:443@HTTP#北美地区 106.186.22.65:8888@HTTP#日本 东京都Linode公司KDDI数据中心 106.240.250.106:808@HTTP#【匿】韩国 109.196.127.35:8888@HTTP#波兰 109.224.1.210:8080@HTTP#伊拉克 110.74.182.53:3128@HTTP#马来西亚 110.74.195.83:8080@HTTP#柬埔寨 110.74.199.75:8080@HTTP#柬埔寨 110.76.154.100:3128@HTTP#泰国 110.78.161.106:8080@HTTP#泰国 110.172.146.4:8080@HTTP#印度 110.232.76.150:18080@HTTP#印度尼西亚 111.68.99.61:8080@HTTP#巴基斯坦 伊斯兰堡教育和研究网络 111.90.179.42:8080@HTTP#柬埔寨 111.223.52.2:80@HTTP#泰国 113.23.190.234:8085@HTTP#马来西亚 114.5.12.110:8080@HTTP#印度尼西亚 114.6.34.194:8080@HTTP#印度尼西亚 115.31.160.3:8080@HTTP#泰国 115.87.176.99:8080@HTTP#泰国 115.124.72.78:8585@HTTP#印度尼西亚 雅加达市 115.127.69.2:8080@HTTP#孟加拉 116.197.135.236:8080@HTTP#印度尼西亚 117.102.103.235:8080@HTTP#印度尼西亚 117.121.231.241:8080@HTTP#尼泊尔 117.244.15.243:3128@HTTP#印度 118.70.80.125:3128@HTTP#越南 118.70.80.136:3128@HTTP#越南 118.97.15.218:8080@HTTP#印度尼西亚 118.97.191.205:8080@HTTP#印度尼西亚 118.97.239.146:8080@HTTP#印度尼西亚 118.189.13.178:8080@HTTP#【匿】新加坡 119.18.153.246:8080@HTTP#印度尼西亚 119.82.253.197:8080@HTTP#柬埔寨 120.28.45.202:8090@HTTP#菲律宾 Globe电信 121.101.185.138:8080@HTTP#印度尼西亚 121.254.163.29:80@HTTP#【匿】韩国 122.2.70.200:80@HTTP#菲律宾 123.30.75.115:80@HTTP#越南 越南邮电集团公司 123.30.75.115:443@HTTP#越南 越南邮电集团公司 123.30.75.115:3128@HTTP#越南 越南邮电集团公司 124.6.135.170:3128@HTTP#菲律宾 Globe电信 124.81.226.146:8080@HTTP#印度尼西亚 124.146.151.106:8080@HTTP#日本 125.212.225.86:3128@HTTP#越南 131.72.170.166:8080@HTTP#美国 137.135.166.225:8121@HTTP#【匿】美国 Microsoft公司 137.135.166.225:8128@HTTP#【匿】美国 Microsoft公司 137.135.166.225:8147@HTTP#【匿】美国 Microsoft公司 138.219.177.240:8080@HTTP#北美地区 139.255.36.98:8080@HTTP#印度尼西亚 139.255.40.130:8080@HTTP#印度尼西亚 144.76.232.58:3128@HTTP#德国 146.185.149.184:3128@HTTP#俄罗斯