摘要：
重新启动时，可以从暂停状态开始爬网。已爬网的URL未处于爬网状态。要实现暂停和重新启动记录状态，您可以：1。首先将cd输入到scratch项目中（当然，您也可以通过编写脚本Python文件直接在pychar中运行它）。2.在scratch项目中创建一个文件夹以存储记录信息。3.执行命令：scratch crawlcnblogs-sJOBDIR=zant/001。执行该命令将启动指定的爬网程序，并记录状态，直到指定的目录爬网程序启动。
scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取
实现暂停与重启记录状态
方法一：
1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在scrapy项目里创建保存记录信息的文件夹 3、执行命令： scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径 如：scrapy crawl cnblogs -s JOBDIR=zant/001 执行命令会启动指定爬虫，并且记录状态到指定目录 爬虫已经启动，我们可以按键盘上的ctrl+c停止爬虫，停止后我们看一下记录文件夹，会多出3个文件，其中的requests.queue文件夹里的p0文件就是URL记录文件，这个文件存在就说明还有未完成的URL，当所有URL完成后会自动删除此文件 当我们重新执行命令：scrapy crawl cnblogs -s JOBDIR=zant/001 时爬虫会根据p0文件从停止的地方开始继续爬取。
方法二：
在settings.py文件里加入下面的代码：
JOBDIR='sharejs.com'
使用命令scrapy crawl 爬虫名，就会自动生成一个sharejs.com的目录，然后将工作列表放到这个文件夹里
