Web Scraper 是一款网页数据采集工具,只要是我们日常在网页上可以浏览到的内容,它都可以帮助我们爬取下来。
Web Scraper最大的特色是免费和免编程,不懂编程的人也很容易操作,尽管在爬取网页数据方面也有很多工具,但综合对比来看还是web scraper更加方便快捷一些。
Web Scraper主要有以下几个特点:
登录官方网站进行插件安装,插件有两种浏览器可供选择:火狐或者谷歌的Chrome。我选择的是火狐浏览器,如果选用Chrome浏览器,则需要科学上网。
(具体下载网址不方便粘贴,可以私信获取)
知乎关键字搜索信息爬取代码
{'_id':'zhihuchaxun','startUrl':['
https://www.zhihu.com/search?type=content&q=k30s至尊'],'selectors':[{'id':'question','type':'SelectorElementScroll','parentSelectors':['_root'],'selector':'div[] div.List-item','multiple':true,'delay':'3000'},{'id':'url','type':'SelectorLink','parentSelectors':['question'],'selector':'div [itemprop='zhihu:question'] a','multiple':true,'delay':0},{'id':'title','type':'SelectorText','parentSelectors':['url'],'selector':'.QuestionHeader h1','multiple':false,'regex':'','delay':0},{'id':'view','type':'SelectorText','parentSelectors':['url'],'selector':'div.NumberBoard-item strong','multiple':false,'regex':'','delay':0},{'id':'follower','type':'SelectorText','parentSelectors':['url'],'selector':'button strong','multiple':false,'regex':'','delay':0},{'id':'answer','type':'SelectorText','parentSelectors':['url'],'selector':'div.Card:nth-of-type(1) a.QuestionMainAction','multiple':false,'regex':'','delay':0}]}
联系客服