这取决于页面上存在的javascript数量。

您必须知道，渲染所有JavaScript时，启动 会花费一些时间 ，而python应用程序将继续运行而无需等待渲染完成。因此，有时飞溅也无法做到。

• 您可以显式地等待渲染，因为通常需要一些时间。
• 这也是一个好习惯wait。

这里，

import scrapy
from scrapy_splash import SplashRequest

yield scrapy.Request(url, callback=self.parse, meta={'splash':{'args':{'wait':'25'},'endpoint':'render.html'}})

要么

import scrapy
from scrapy_splash import SplashRequest

yield SplashRequest(url, self.parse, endpoint='render.html',
        args={'wait': 5, 'html' : 1 } )

在硒和硒之间

Selenium仅用于自动执行Web浏览器交互，Scrapy用于下载HTML，处理数据并将其保存（整个Web爬行框架）。

谈到抓取，我建议您查看一下scrapy，如果问题出在javascript上。

• Scrapy已经有自己的javascript官方项目，名为scrapy-splash
• 另外，您可以从Scranium中的Selenium创建新的webdriver实例，进行一些工作，提取数据，然后在完成所有工作后将其关闭。