我正在尝试抓取一个网站,但我没有得到某些要素,因为这些要素是动态创建的。
我在node.js中使用了cheerio,下面是我的代码。
var request = require('request'); var cheerio = require('cheerio'); var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; request(url, function (err, res, html) { var $ = cheerio.load(html); $('.listMain > li').each(function () { console.log($(this).find('a').attr('href')); }); });
此代码返回空响应,因为加载页面时,该页面<ul id="store_list" class="listMain">为空。
<ul id="store_list" class="listMain">
内容尚未添加。
如何使用node.js获取这些元素?如何抓取具有动态内容的页面?
干得好;
var phantom = require('phantom'); phantom.create(function (ph) { ph.createPage(function (page) { var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; page.open(url, function() { page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() { page.evaluate(function() { $('.listMain > li').each(function () { console.log($(this).find('a').attr('href')); }); }, function(){ ph.exit() }); }); }); }); });