一尘不染

抓取网站中的动态内容

python

我需要从此网站Link中抓取新闻公告。公告似乎是动态生成的。它们不会出现在源代码中。我通常使用机械化,但是我认为它不会起作用。我该怎么办?我可以使用python或perl。


阅读 116

收藏
2020-12-20

共1个答案

一尘不染

礼貌的选择是询问网站所有者是否具有允许您访问其新闻报道的API。

不太礼貌的选择是跟踪页面加载时发生的HTTP事务,并确定哪一个是AJAX调用,该调用会提取数据。

看起来就是这个。但是看起来它可能包含会话数据,所以我不知道它将继续工作多长时间。

2020-12-20