对于我scrapy项目我目前使用的ImagesPipeline。下载的图像以其URL的SHA1哈希作为文件名存储。
如何使用我自己的自定义文件名存储文件?
如果我的自定义文件名需要包含同一项目中的另一个抓取字段,该怎么办?例如,使用item['desc']和和图像的文件名item['image_url']。如果我理解正确,那将涉及以某种方式从图像管道访问其他项目字段。
item['desc']
item['image_url']
任何帮助将不胜感激。
这就是我在Scrapy 0.10中解决问题的方式。检查FSImagesStoreChangeableDirectory的persist_image方法。下载图像的文件名是密钥
class FSImagesStoreChangeableDirectory(FSImagesStore): def persist_image(self, key, image, buf, info,append_path): absolute_path = self._get_filesystem_path(append_path+'/'+key) self._mkdir(os.path.dirname(absolute_path), info) image.save(absolute_path) class ProjectPipeline(ImagesPipeline): def __init__(self): super(ImagesPipeline, self).__init__() store_uri = settings.IMAGES_STORE if not store_uri: raise NotConfigured self.store = FSImagesStoreChangeableDirectory(store_uri)