 |
广州中公优就业IT培训学校 |
位置：学校首页 > 学校动态>广州白云区python周末培训学校
Python面试题scrapy框架运行的机制？从start_urls里获取批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：
如果提取出需要的数据，则交给管道文件处理；如果提取出url，则继续执行之前的步骤（发送url请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。
根据scrapy的流程图，描述出组件、两个中间件，以及完成一个请求的流程。
