pycharm写爬虫 怎么看请求头

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用下面的方式:
　　import urllib2
　　enable_proxy = True
　　proxy_handler = urllib2.ProxyHandler({"http" : 'IP:8080'})
　　null_proxy_handler = urllib2.ProxyHandler({})
　　if enable_proxy:
　　opener = urllib2.build_opener(proxy_handler)
　　else:
　　opener = urllib2.build_opener(null_proxy_handler)
　　urllib2.install_opener(opener)
　　这里要注意的一个细节，使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。这样后面的使用会很方便，但不能做更细粒度的控制，比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置，而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。