我们以选取的这个网站为例,来说明下图片采集要如何实现。先来看下这个网站的特殊之处,首先,页面上的图片不是一次加载完成,而需要滚动多次才会滚动到底部,这类型的网站像新浪微博也是类似情况,当然也有的瀑布流网站是一直加载无法见底的,这种情况在此不赘述。其次,产品详情页不能通过点击标题进入,而需要点击图片才能进入。
打开数据采集器,点击开始采集
编辑采集任务名及分组名称,点击下一步,进入采集规则的设置
复制要采集页面的URL,将红色方框内的打开网页拉至流程线,将复制的URL粘贴好,点击保存,如图片所示
网页在八爪鱼打开后,需要点击流程中的“打开网页”步骤,设置AJAX网页加载,以便确保数据采集的时候不会遗漏,像这个示范站,我们实际滚动大约需要4次,所以我们在AJAX加载到底部,滚动次数可以设置为4次或5次均可,次数可以适当的比实际的滚动次数稍微多一两次,如图片所示
创建循环翻页
接下来将要采集的页面拉至底部,找到下一页,鼠标右键点击,选择执行循环下一页操作
如图片所示
完成翻页的循环后,点击自定义
选择点击"元素文本",再点击确定进行保存
点击翻页循环的翻页按钮,选择高级选项,勾选页面加载,根据网站的不同去设置滚动次数和滚动方式,点击保存(这个网站我们滚动4次就差不多了)
由于我们采集时需要点击图片才能进入到产品详情页,在建立元素循环列表的时候,需要将图片链接设置为列表项,如下图所示,我们需要点击A标签取到图片的链接地址,并以此链接为循环列表,添加元素到列表的时候,每次都需要点击A标签,2-3次添加之后系统会将所有选中的图片链接自动读取出来。
如图所示:右键点击网页中第一个图片,在跳出的命令框中,选择执行“创建一个元素列表”
将其添加到列表中
同样的方法,选择第二个图片,按照添加步骤将其添加到列表中
网页中所有的图片的链接都将被全部识别出来并添加到列表中
点击循环完成列表的创建
完成循环列表后,把流程图里提取数据的循环拉进翻页循环里,如下图
完成后如红色方框所示,点击保存
采集图片的URL,按上面的操作进入到详情页后,就是提取数据了,对于产品名称和价格,都是文本形式,提取非常简单,而对于图片,会需要先采集到图片本身的URL,再进行转换,采集办法如下图所示,选中图片后,在弹出的对话框中可选中IMG标签,选择图片的超链接进行采集。
设置完成后,保存,来看下采集的成果。网页中URL都采集下来,我们导出为EXCEL格式的文件。
将图片的URL转换为图片批量下载下来,相关的工具在八爪鱼免费下载。将URL地址导入工具即可将图片转换下来。
经过以上简单的步骤,AJAX网页上的瀑布流图片就可以轻松采集出来了
注意事项
采集不同的数据需要的规则略有不同,不懂怎么编辑规则的可以去规则市场寻找完成的规则
联系客服