我正在尝试保存我尝试过的scrapy crawl命令的输出， scrapy crawl someSpider -o some.json -t json >> some.text 但是它没有用…有人可以告诉我如何将输出保存到文本文件…。我的意思是日志和打印的信息刮…
scrapy crawl someSpider -o some.json -t json >> some.text
你还需要重定向stderr。你仅重定向标准输出。你可以像这样以某种方式重定向它：
scrapy crawl someSpider -o some.json -t json 2> some.text
密钥是数字2，它“选择” stderr作为重定向源。
如果要将stderr和stdout都重定向到一个文件中，可以使用：
scrapy crawl someSpider -o some.json -t json &> some.text
你可以将这些行添加到你的settings.py：
settings.py
LOG_STDOUT = True LOG_FILE = '/tmp/scrapy_output.txt'
然后正常开始抓取：
scrapy crawl someSpider
