Spider设置

参数	说明	示例
name	爬虫名称，必须唯一	name = “myspider”
handle_httpstatus_list	需要处理的状态码	handle_httpstatus_list = [404]
download_delay	下载延时（单位：s秒）	download_delay = 5
allowed_domains	域名限制	allowed_domains = [“baidu.com”]
custom_settings	用户设置，单独设置爬虫参数	custom_settings ={‘RETRY_TIMES’: 3}
start_urls	起始链接设置	start_urls = [“http://www.baidu.com“]

settings.py或者custom_settings

参数	说明
USER_AGENT	请求头
ROBOTSTXT_OBEY = False	是否遵守robots协议
DOWNLOAD_DELAY = 2	同一个站点抓取延迟（秒s）
CONCURRENT_REQUESTS_PER_DOMAIN = 1	对同一个站点并发线程
CONCURRENT_REQUESTS_PER_IP = 1	对同一个ip并发线程