 |
广州中公优就业IT培训学校 |
位置：学校首页 > 学校动态>广州白云区python线下培训班
Python面试题scrapy和scrapy-redis的区别是什么？为什么选择redis数据库？scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。选择redis数据库因为redis支持主从同步，而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指集合。
为什么选择redis数据库？
选择redis数据库因为redis支持主从同步，而且数据都是缓存在内存中的，所以基于redis的分布式爬虫，对请求和数据的高频读取效率非常高。
