西安python培训班怎么选择学校

　　西安python培训班怎么选择学校？西安博为峰培训学校,IT培训领跑者，专注Python培训,Java培训,Web培训,Linux培训,UI培训，集教研与教学为一体，级讲师授课，一站式学习+就业+进阶，入学及签订协议，就业有保障。

　　你用过的爬虫框架或者模块有哪些?谈谈他们的区别或者优缺点?

　　Python自带：urllib，urllib2

　　第三方：requests

　　框架：Scrapy

　　urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。

　　urllib2.：urllib2.urlopen可以接受一个Request对象或者url，(在接受Request对象时候，并以此可以来设置一个URL的headers)，urllib.urlopen只接收一个url

　　urllib有urlencode,urllib2没有，因此总是urllib，urllib2常会一起使用的原因

　　scrapy是封装起来的框架，他包含了下载器，解析器，日志及异常处理，基于多线程，twisted的方式处理，对于固定单个网站的爬取开发，有优势，但是对于多网站爬取100个网站，并发及分布式处理方面，不够灵活，不便调整与括展。

　　request是一个HTTP库，它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，高并发与分布式部署也非常灵活，对于功能可以更好实现.

　　Scrapy优缺点：

　　优点：scrapy是异步的

　　采取可读性更强的xpath代替正则

　　强大的统计和log系统

　　同时在不同的url上爬行

　　支持shell方式，方便独立调试

　　写middleware,方便写一些统一的过滤器

　　通过管道的方式存入数据库

　　缺点：基于python的爬虫框架，扩展性比较差

　　基于twisted框架，运行中的exception是不会干掉reactor，并且异步框架出错后是不会停掉其他任务的，数据出错后难以察觉。