一尘不染

获取在Python中使用JavaScript生成的页面

javascript

我想下载由生成的网页Javascript,并将其存储到Python代码中的字符串变量中。当您单击按钮时,将生成该页面。

如果我知道使用的结果URL,urllib2则不是这种情况。

谢谢


阅读 561

收藏
2020-05-01

共1个答案

一尘不染

您可以使用Selenium Webdriver:

#!/usr/bin/env python
from contextlib import closing
from selenium.webdriver import Firefox # pip install selenium
from selenium.webdriver.support.ui import WebDriverWait

# use firefox to get page with javascript generated content
with closing(Firefox()) as browser:
     browser.get(url)
     button = browser.find_element_by_name('button')
     button.click()
     # wait for the page to load
     WebDriverWait(browser, timeout=10).until(
         lambda x: x.find_element_by_id('someId_that_must_be_on_new_page'))
     # store it to string variable
     page_source = browser.page_source
print(page_source)
2020-05-01