一尘不染

如何使用node.js抓取需要身份验证的网站?

node.js

我遇到过许多教程,它们解释了如何使用node.js刮取不需要身份验证/登录的公共网站

有人可以解释如何抓取需要使用node.js登录的网站吗?


阅读 227

收藏
2020-07-07

共1个答案

一尘不染

使用Mikeal的请求库,您需要启用cookie支持,如下所示:

var request = request.defaults({jar: true})

因此,您首先应该在该站点上(手动)创建一个用户名,并在向该站点发出POST请求时将用户名和密码作为参数传递。之后,服务器将使用Cookie进行响应,该请求将记住该Cookie,因此您将能够访问要求您登录到该站点的页面。

注意:如果在登录页面上使用了诸如reCaptcha之类的方法,则此方法无效。

2020-07-07