[Python网络编程] DNS缓存解决方案

http://blog.csdn.net/yueguanghaidao/article/details/26449911

2014

记得以前写爬虫的时候为了防止dns多次查询，是直接修改/etc/hosts文件的，最近看到一个优美的解决方案，修改后记录如下：

[python] view plain copy

1. import socket  
2.   
3. _dnscache={}  
4. def _setDNSCache():  
5.     """ 
6.     Makes a cached version of socket._getaddrinfo to avoid subsequent DNS requests. 
7.     """  
8.   
9.     def _getaddrinfo(*args, **kwargs):  
10.         global _dnscache  
11.         if args in _dnscache:  
12.             print str(args)+" in cache"  
13.             return _dnscache[args]  
14.   
15.         else:  
16.             print str(args)+" not in cache"    
17.             _dnscache[args] = socket._getaddrinfo(*args, **kwargs)  
18.             return _dnscache[args]  
19.   
20.     if not hasattr(socket, '_getaddrinfo'):  
21.         socket._getaddrinfo = socket.getaddrinfo  
22.         socket.getaddrinfo = _getaddrinfo  
23.   
24. def test():  
25.     _setDNSCache()  
26.     import urllib  
27.     urllib.urlopen('http://www.baidu.com')  
28.     urllib.urlopen('http://www.baidu.com')  
29.   
30. test()  

结果如下：

[python] view plain copy

1. ('www.baidu.com', 80, 0, 1) not in cache  
2. ('www.baidu.com', 80, 0, 1) in cache  

不过这个方案虽好，但也有缺陷，罗列如下：

1.相当于只对socket.getaddrinfo打了一个patch，但socket.gethostbyname,socket.gethostbyname_ex还是走之前的策略

2.只对本程序有效，而修改/etc/hosts将对所有程序有效，包括ping