如何使用Python，Selenium和PhantomJS下载文件

一尘不染

如何使用Python，Selenium和PhantomJS下载文件

selenium

这是我的情况：我必须登录到一个网站并从那里下载CSV，而从linux服务器无头。该页面使用JS，没有它就无法工作。

经过一些研究，我选择了Selenium和PhantomJS。登录，设置CSV参数并使用Selenium / PhantomJS /
Py3查找下载按钮没有问题，实际上令人称奇。

但是单击下载按钮没有任何作用。经过一番研究，我发现PhantomJS似乎不支持下载对话框和下载，但它即将出现在功能列表中。

因此，urllib当我发现下载按钮只是调用REST
API网址后，我以为我使用了一种解决方法。问题是，仅当您登录到站点时，它才有效。所以第一次尝试失败了，因为它返回了：b'{"success":false,"session":"expired"}'这很有意义，因为我期望Selenium和urllib使用不同的会话。所以我想我在尝试使用urrlib中Seleniums驱动程序的标头：

...
url = 'http://www.foo.com/api/index'
data = urllib.parse.urlencode({
        'foopara': 'cadbrabar',
    }).encode('utf-8')
headers = {}
for cookie in driver.get_cookies():
    headers[cookie['name']] = cookie['value']
req = urllib.request.Request(url, data, headers)
with urllib.request.urlopen(req) as response:
    page = response.read()
driver.close()

不幸的是，这产生了过期会话的相同结果。我做错什么了吗，还有其他建议可以解决吗？还是我走到了尽头？提前致谢。

阅读 582

2020-06-26

共1个答案

一尘不染

我找到了一个解决方案，并希望分享。一项要求发生了变化，我不再使用PhantomJS了，但chromedriver它与虚拟帧缓冲区毫无关系。结果相同，就可以完成工作。

您需要的是：

pip install selenium pyvirtualdisplay

apt-get install xvfb

我将Py3.5和ovh.net的测试文件与标签而不是按钮一起使用。脚本等待页面上显示，然后单击它。如果您不等待该元素并且位于异步站点上，那么您尝试单击的元素可能还不存在。下载位置是相对于脚本位置的文件夹。该脚本会检查该目录，如果文件已被第二次延迟下载。如果我没有记错的话，在下载过程中文件应该是.part，并且一旦它变成filename脚本中指定的.dat，就应该完成。如果关闭虚拟帧缓冲区和驱动程序，下载将无法完成。完整的脚本如下所示：

# !/usr/bin/python
# coding: utf-8

import os
import sys
import time
from pyvirtualdisplay import Display
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import glob


def main(argv):
    url = 'http://ovh.net/files'
    dl_dir = 'downloads'
    filename = '1Mio.dat'

    display = Display(visible=0, size=(800, 600))
    display.start()

    chrome_options = webdriver.ChromeOptions()
    dl_location = os.path.join(os.getcwd(), dl_dir)

    prefs = {"download.default_directory": dl_location}
    chrome_options.add_experimental_option("prefs", prefs)
    chromedriver = "./chromedriver"
    driver = webdriver.Chrome(executable_path=chromedriver, chrome_options=chrome_options)

    driver.set_window_size(800, 600)
    driver.get(url)
    WebDriverWait(driver, 30).until(EC.presence_of_element_located((By.XPATH, '//a[@href="' + filename + '"]')))

    hyperlink = driver.find_element_by_xpath('//a[@href="' + filename + '"]')
    hyperlink.click()

    while not(glob.glob(os.path.join(dl_location, filename))):
        time.sleep(1)

    driver.close()
    display.stop()

if __name__ == '__main__':
    main(sys.argv)

我希望这对以后的人有所帮助。

2020-06-26