python处理iis日志

http://my.oschina.net/courade/blog/135096

2013

        最近写了一个简单的使用python分析iis日志的小demo，用于自己练手，写的不好还要请高手多多指教。

代码的整体思路：

1、首先获得位于iislog文件夹下的日志文件
    定义了一个getfiles 函数，参数为目录名字
2、使用for循环遍历读取到的文件，用while循环读取文件中的每一行
3、在while选择将获得行进行处理，iis日志文件遵循一定的规律,处理起来还是比较容易的
4、将页面作为dict的key，使用 value来记录页面的访问次数
5、循环输出dict
6、使用linux 的sort命令将结果进行排序
以上就是一个基本的思路，鄙人在这里抛砖引玉了。

贴上代码

#! /usr/bin/python#-*-coding:utf-8-*-import osimport sysdef getfiles(dirname):    return os.listdir(dirname)def  countfiles():    fpath=os.getcwd()+"/iislog/"    files=getfiles(fpath)    line_dic={}    for f in files: #        if os.path.isfile(fpath+f):            fhandle=open(fpath+f,'r')            l=fhandle.readline()            while l:                if l.startswith("#"):                    l=fhandle.readline()                    continue                else:                    file_line=l.split()                    if file_line[4].endswith('.asp') or file_line[4].endswith('.aspx') or file_line[4].endswith('.html'):                        url=file_line[3]+file_line[4]                        if url not in line_dic:                            line_dic[url]=1                        else:                            line_dic[url]=line_dic[url]+1                    l=fhandle.readline()    for k in line_dic:        print k+'\t'+str(line_dic[k])if __name__=="__main__":    countfiles()

使用说明

1、将日志文件放在iislog文件夹中
2、将代码文件放在iislog的上级目录中
3、运行python iislog.py |sort -nk 2 -r
4、耐心等待就可以了
最后贴上部分结果

前面的字符串表示请求的方式以及页面，后面的数字表示访问的次数

GET/frame.asp	71990GET/head.asp	11612GET/loading.asp	9884POST/choose/person.asp	7887POST/house/query.asp	7720POST/sales/detail_union_query.asp	7052POST/choose/buy_search.asp	6850POST/sales/sales_union_query.asp	6823POST/choose/house.asp	6729POST/choose/buy_goods_search2.asp	6504POST/sales/union_show.asp	5496POST/choose/contacts.asp	5494POST/base/goods.asp	4868POST/base/contacts_form.asp	4805