l 采集网站 【场景描述】采集易贝（ebay）中某一类别的所有商品信息。 【使用工具】前嗅ForeSpider数据采集系统，免费下载链接： http://www.forenose.com/view/forespider/view/download.html 【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958 【采集内容】 采集易贝（ebay）中的所有男装商品信息，包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率、物品编号等。
【采集效果】如下图所示：
l 思路分析
配置思路概览：
l 配置步骤
1. 新建采集任务
选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。
选择普通翻页，点击完成按钮，即创建任务完成。
2.获取翻页链接
①在浏览器上打开该页面，分别打开几个翻页页面，观察其链接规律，具体如下：
②不难发现翻页规律为：
③打开爬虫，新建脚本
④根据刚才发现的规律，用脚本来拼翻页链接。
具体如下所示：
脚本文本：
url u;for(var i=1;i<=10;i++)//for循环来获得翻页，i为第几页{
u.urlname = "https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958?rt=nc&_pgn="+i;//根据翻页规律拼翻页
u.title = URL.title+"#"+"第"+i+"页"; //返回链接标题为“第i页”
u.entryid = CHANN.id;
u.tmplid = 2; //关联模板2
RESULT.AddLink(u);
}⑤保存脚本后，点击右上角【采集预览】按钮，复制任意一条翻页链接，在浏览器打开，看是否成功抽取翻页链接。
3.抽取商品链接
①新建一个抽取模板，在其下新建一个链接抽取，具体操作如下所示：
②采集预览，复制任意一条翻页的链接。
③将链接粘贴到模板02的示例地址中，并点击右上角【保存】按钮：
④双击内置浏览器，加载示例地址页面，如下图所示：
⑤用定位过滤链接的方法，shift+鼠标单击，ctrl+鼠标单击扩大选区，选中所有商品。
⑥采集预览，双击任意一条翻页链接，查看是否成功抽取商品链接：
4.抽取商品数据
①新建一个抽取模板，在其下新建一个数据抽取，具体操作如下所示：
②数据建表，按照下图所示建数据表。（注意字段属性等应严格按照下图进行设置）
③将新建好的数据表，关联到模板中去，如下图所示:
④填写示例数据，采集预览，复制任意一条商品链接，
将链接粘贴到本模板示例地址中，并双击内置浏览器空白部分，加载本链接。
⑤关联模板
⑥字段抽取
字段抽取使用字段定位取值的方法，具体操作如下所示：
Pro_name字段：选中本字段后，shift+鼠标单击商品名称，选中商品名称，点击【确认选区】。
Pro_price：方法同上如下图所示：
Pro_stock：
Shop_revuews:
Num:
Shop_name:
Shop_star:
⑦采集预览，双击进入下一层，直接打开数据页，抽取到数据，表示配置成功。
l 采集步骤
模板配置完成，采集预览没有问题后，可以进行数据采集。
①首先要建立采集数据表：
选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【ebay】（注意命名不能用数字和特殊符号），点击【确定】。创建完成，勾选数据表，并点击右上角保存按钮。
②选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。
③采集中：
④采集结束后，可以在【数据浏览】中，选择数据表查看采集数据，并可以导出数据。
⑤导出的文件打开如下图所示：
本教程仅供教学使用，严禁用于商业用途！
l 前嗅简介
前嗅大数据，国内领先的研发型大数据专家，多年来致力于为大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！
联系客服
