这篇文章给大家介绍nodejs中怎么利用axios实现一个爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
Nodejs中的axios 是标准的DOM 解析库,采用类似于 jquery 语法的,可以直接分析数据 DOM 中的相关内容,方便简洁的进行数据采集,同时加上爬虫代理IP,能够有效避免网站限制,轻松实现数据采集。
const axios = require('axios');
// 要访问的目标页面
const targetUrl = "https://www.baidu.com";
// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = 31111;
// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";
var proxy = {
host: proxyHost,
port: proxyPort,
auth: {
username: proxyUser,
password: proxyPass
}
};
axios.get(targetUrl,{proxy:proxy})
.then(function (response) {
// handle success
console.log(response.data);
})
.catch(function (error) {
// handle error
console.log(error);
})
.finally(function () {
// always executed
})
关于nodejs中怎么利用axios实现一个爬虫就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。