最近在写一个采集,写的时候好好的,到晚上高峰期就卡了。。原因是读网页时耗时太久了,,试过各种方案,,无解,然后发现浏览器的访问速度还是挺快的,开始我还奇了个怪,最后留意到谷歌浏览器的一句解析,提前对访问的地址进行连接,感觉好像很厉害又好像不是那么厉害的样子,,于是做了这个。
目前还是个残缺品吧,想法来得快写得也快。不知道对大家有没用,反正我调到我的采集程序里还是很给力的,高峰时期开多几个端口。。。原先5秒的延迟现在最多1秒多了。
本程序用了hpsocket 和
精易模块
感谢!
继承作者开源精神,献上源码。希望对有需要的人有帮助。