===========python 安装===========
安装 Python 2.7
将python的安装路径加入到环境变量的path 里
python test.py 运行脚本
python请求一个网页
这个是3.4 版本
import urllib.request
with urllib.request.urlopen('http://www.python.org/') as f:
print(f.read(300))
print 之前一定有空格，python 严格缩进
最好还是在eclipse pydev 插件里进行开发
=====搭建scrapy=======
get-pip.py
python get-pip.py 安装
C:\Python2.7\;C:\Python2.7\Scripts\;
将python 和下面的脚本目录加入到环境变量，包括script里保护有 pip 脚本
pip install Scrapy
依赖于 http://aka.ms/vcpython27
Microsoft Visual C++ 9.0 先安装
http://www.microsoft.com/en-us/download/details.aspx?id=44266
以下为我们的第一个Spider代码，保存在 tutorial/spiders 目录下的 dmoz_spider.py 文件中:
------------
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
with open(filename, 'wb') as f:
f.write(response.body)
---------------------
进入项目的根目录，执行下列命令启动spider:
scrapy crawl dmoz
报错
scrapy项目运行报错： exceptions.ImportError: No module named win32api
缺少包所致，pip 运行
pip install pypiwin32
爬取得数据可以保存为json ，结合xpath表达式进行过滤
