糗事百科爬虫

代码如下:（友情提示输入quit结束调用）

Qiushi.py

[python] view plaincopy

1. #!/usr/bin/env python  
2. #encoding:utf-8  
3. #By eathings  
4.   
5. import urllib2  
6. import re  
7.   
8. class Console_page:  
9.     def __init__(self):  
10.         self.page = 1  
11.         self.enable = True  
12.         self.qiushi=re.compile('<div.*?class="content".*?title="(.*?)">([\s\S]*?)</div>')  
13.     def getpage(self, page):  
14.         url = "http://www.qiushibaike.com/hot/page/" + str(page)  
15.         response = urllib2.urlopen(url)  
16.         result = response.read()  
17.         en_result = re.sub("<br/>", "", result)  
18.         items = re.findall(self.qiushi, en_result)  
19.         return items  
20.       
21.     def show_page(self,page):  
22.         view = self.getpage(page)  
23.         for i in view:  
24.             print u"第 %d页"%page, i[0], i[1]  
25.             inputs = raw_input()  
26.             if inputs == 'quit':  
27.                 self.enable = False  
28.                 break  
29.   
30.     def startread(self):  
31.         while self.enable:  
32.             #print self.page  
33.             page = self.page  
34.             self.show_page(page)  
35.             self.page += 1  
36.   
37. qiushibaike = Console_page()  
38. qiushibaike.startread()  

[python] view plaincopy