今天为大家带来的内容是用python做Web爬虫时，应该注意哪些事项！暂且就不分序号了，部分代码用图片的方式呈现出来，方便各位观看与收藏，要是喜欢的话，一定不要忘记点个赞和关注嗷！
（本文内容较长，需要的朋友可以参考下）
具体内容如下：
环境：
Python3.5orAnaconda3
BeautifulSoup4
可以使用下面的指令安装BeautifulSoup4，如果你是Ubuntu用户，记得在命令前面加上sudo：
pip install beautifulsoup4
程序分别实现了几个类，分别用于URL地址管理，Html内容请求、Html内容解析、索引建立以及爬虫主进程。我将整个程序按照每个Class分开解释，最后只要将他们放在一起就可以执行代码了。
UrlManager类
这个类用来管理URL地址，new_urls用来保存还未爬取的URL地址，old_urls保存了已经爬取过的地址，两个变量都使用set类型保证其中内容的唯一性。每次循环时，add_new_urls()向外提供了向new_urls变量中添加新urls的方法；add_new_url()方法，对每个url地址进行重复性检查，符合条件的才进行添加操作；get_urls()向外提供了获取新的url地址的方法；has_new_url()方法用来检查爬取队列是否为空。
代码如下：
图一
图二
HtmlDownloader类
这个类实现了向url地址发送Request请求，并获取其回应的方法，调用类内的download()方法就可实现。这里要注意的是页面的编码问题，这里我使用的是UTF-8来进行decode解码，有的网页可能使用的是GBK编码，要根据实际情况进行修改。
HtmlParser类
这个类通过实例化一个BeautifulSoup对象来进行页面的解析。它是一个使用Python编写的HTML/XML文档解析器。它通过将文档解析为DOM树的方式为用户提供需要抓取的数据，并且提供一些简单的函数用来处理导航、搜索、修改分析树等功能。
该类的关键是_get_new_urls()、_get_new_content()、get_url_title()三个方法。第一个方法用来解析出页面包含的超链接，最为重要的选择要解析的标签并为其构造合适的正则表达式。这里我为a标签定义了一个匹配正则，用来获取所有的站内链接。
如下：
links = soup.find_all('a', href=re.compile(r'^(%s).*(/|html)$' % self.domain))`
后面的两个类都是通过解析Html标签来获取title的方法，最终在parse()中通过调取_get_new_content()来获得title内容。具体的标签访问方法不细谈了，读者可以自己翻阅BeautifulSoup的官方文档。
图一
图二
提示：三张图是连在一起的代码，要收藏的话记得一起！
图三
BuildIndex
该类为每个URL地址与他的标题包含的关键词建立了一个索引关系并保存在一个Dict变量中，每个标题对应多个关键词，每个标题也对应多个url地址，因此每个关键词也对应了多个url地址。具体的形式如下：
index={'keyword':[url1,url2,...,urln],...}
其中，add_page_index()方法对每个标题进行了分词处理，并且调用了add_key_index()方法将keyword-url的对应关系存到索引中，这其中也进行了重复检查。主意，这个分词方法仅限于英文句子，中文的话需要用到特定的分词工具。
SpiderMain
这是爬虫的主题类，它通过调用其他几个类生成的对象来实现爬虫的运行。该类实例化的时候会永久生成上面几个类的对象，当通过craw()方法获取到用户提供的url地址时，就会依次进行请求、下载、解析、建立索引的工作。最后该方法会返回index，graph两个变量，他们分别是：
每个关键词集齐对应的地址，keyword-urls索引，如下
index={'keyword':[url1,url2,...,urln],...}
每个url及其页面中包含的urls，url-suburls索引，如下
graph={'url':[url1,url2,...,urln],...}
提示：两张代码图是一起的，收藏的话记得一起！
最后，我们在程序中添加下面的代码，就可以成功的执行我们的爬虫了
if __name__ == '__main__':
spider = SpiderMain('http://www.xael.org/')
index, graph = spider.craw()
print(index)
print(graph)
联系客服
