我知道你可以scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'更改USER_AGENT，但是如何添加请求标头？
scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'
USER_AGENT
当前没有直接在cli上添加标头的方法，但是你可以执行以下操作：
$ scrapy shell ... ... >>> from scrapy import Request >>> req = Request('yoururl.com', headers={"header1":"value1"}) >>> fetch(req)
这将使用该新请求更新当前shell信息。
