现在是大数据的时代，网络上现成的数据都在那里，就看你怎么样来利用，网络爬虫，最适合来抓取我们需要的数据。
那用nodejs来完成整个爬虫我们需要哪些模块和技术呢
1.request模块
request是一个用来简化HTTP请求操作的模块，其功能强大而且使用方法简单
2.cheerio模块
相信用nodejs做过网络爬虫的小伙伴们都知道cheerio这个模块，是的，他是jQuery Core的子集，其实现了jQuery Core中浏览器无关的DOM操作API,一般通过cheerio.load方法来加载我们通过http请求到的网页内容，然后进行DOM操作，抓取我们需要的数据。
需要注意的是，cheerio并不支持所有jQuery的查询语法
比如$('a:first')会报错，只能写成$('a').first()
3.async模块
async是一个使用比较广泛的JS异步流程控制模块，除了可以在Nodejs上运行，也可以在浏览器端运行，主要用于处理Nodejs过程中各种复杂的回调
在这里我们主要用到了async的eachSeries方法，他主要用来异步操作里的串行操作，当我们希望在异步流程里上一个操作执行完之后再执行下一个，而不是同时执行的时候，我们就可以通过eachSeries来循环执行所有的异步操作。
4.mysql模块
mysql是Nodejs下比较有名的一个MySQL操作模块，我们需要用到这个模块来把我们抓取到的数据集存储到mysql数据库中
最后分享一个我项目中的一个完整的网络爬虫源码
JavaScript Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
var request = require('request');
var cheerio = require('cheerio');
var async = require('async');
var mysql = require('../models/db');
exports.get = function() {
var domino = 'http://www.tapotiexie.com';
var url = 'http://www.tapotiexie.com/Line/index/name/yt/p/';
var txtSource = '踏破铁鞋';
var url_list = [];
var list = [];
for (var i = 1; i < 25; i++) {
url_list.push(url + i + '.html');
}
async.eachSeries(url_list, function(arr_url, callback) {
console.log('正在抓取' + arr_url + '的数据...');
request(arr_url, function(err, data) {
if (err) return console.error(err);
var $ = cheerio.load(data.body.toString());
$('.tptx_ytgt .tptx_ytgt_4').each(function() {
var $me = $(this);
//解析船公司和船字段
var arr1 = analyStr($me.find('.tptx_ytgt_2b a').text());
//解析晚和天
var arr2 = analyDay($me.find('.tptx_jcyj_2ab_1 span').text());
var item = {
txtCompany: arr1[0],
txtCruise: arr1[1],
txtLine: analyLine($me.find('.tptx_jcyj_2ab_1 ul li:first-child').text()),
txtStartDate: analyStart($me.find('.tptx_jcyj_2ab_1 li').eq(1).text(), $me.find('.tptx_jcyj_2ab_1 span').text()),
numDay: Number(arr2[1]),
numNight: Number(arr2[0]),
numPrice: analyPrice($me.find('.tptx_jcyj_2ac .tptx_jcyj_2ac_1').text()),
txtUrl: domino + $me.find('.tptx_ytgt_2b a').attr('href')
};
list.push(item);
});
callback(err, list);
});
}, function(err) {
if (err) return console.error(err.stack);
/*写入数据库*/
async.eachSeries(list, function(record, callback) {
console.log('正在写入' + record.txtStartDate + '的数据...');
var sql = 'insert into ...';
mysql.query(sql, function(err, info) {
if (err) return console.error(err.stack);
if (info.affectedRows == 1) {
callback(err);
}
});
}, function(err) {
if (err) return console.error(err.stack);
console.log('处理成功！');
});
});
}
/*按中间的空格解析字符串*/
function analyStr(str) {
var _newStr = '';
for (i in str) {
if (str[i].trim() == '') {
_newStr += '|';
} else {
_newStr += str[i];
}
}
return _newStr.split('||');
}
/*解析航线*/
function analyLine(str) {
var arr1 = str.split("邮轮线路：");
return arr1[1];
}
/*解析价格*/
function analyPrice(str) {
if (str == '售罄') {
return 0;
} else {
var arr1 = str.split("￥");
var arr2 = arr1[1].split("起");
return Number(arr2[0]);
}
}
/*解析晚和天*/
function analyDay(str) {
var arr1 = str.split('晚');
var arr2 = arr1[1].split('天');
var _newStr = arr1[0] + '|' + arr2[0];
return _newStr.split('|');
}
/*解析出发日期*/
function analyStart(str1, str2) {
var arr1 = str1.split(str2);
var arr2 = arr1[0].split('出发时间：');
return arr2[1];
}
一般的网页文章列表都会采用翻页来实现，那么怎么样获取所有的每一页的数据呢
一般可以通过抓取“下一页”按钮来判断是不是有下一页数据，如果有的话，直接读取下一页链接的href属性
