本期的Python学习教程接着上次的讲,接着跟大家总结工作中最常用到的Pandas函数
本章主要讲的是数据的预处理,对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并,排序,数值分列,数据分组及标记等工作。
1.数据表合并
在Excel中没有直接完成数据表合并的功能,可以通过VLOOKUP函数分步实现。
在Python中可以通过merge函数一次性实现。
使用merge函数对两个数据表进行合并,合并的方式为inner,将
两个数据表中共有的数据匹配到一起生成新的数据表。并命名为
df_inner。
#数据表匹配合并df_inner=pd.merge(df,df1,how='inner')
合并的方式还有left,right和outer方式
2.设置索引列
索引列可以进行数据提取,汇总,数据筛选
#设置索引列df_inner.set_index('id')
3.排序(按索引,按数值)
Excel中可以通过数据目录下的排序按钮直接对数据表进行排
序
Python中需要使用ort_values函数和sort_index函数完成排序
Sort_index函数用来将数据表按索引列的值进行排序。
#按索引列排序df_inner.sort_index()
4.数据分组
Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组,或者使用“数据透视表”来完成分组
Python中使用Where函数用来对数据进行判断和分组
还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。
#对复合多个条件的数据进行分组标记df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price']>= 4000), 'sign']=1
5.数据分列
Excel中的数据目录下提供“分列”功能。
在Python中使用split函数实现分列在数据表中category列中的数据包含有两个信息,前面的数字为类别id,后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分,并将拆分后的数据表匹配回原数据表中。
#将完成分列后的数据表与原df_inner数据表进行匹配df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)
1.按标签提取(loc)
使用冒号可以限定提取数据的范围,冒号前面为开始的标签值后面为结束的标签值。
#按索引提取区域行数值df_inner.loc[0:5]
Reset_index函数用于恢复索引,这里我们重新将date字段的日期
设置为数据表的索引,并按日期进行数据提取。
#设置日期为索引df_inner=df_inner.set_index('date')
2.按位置提取(iloc)
使用iloc函数按位置对数据表中的数据进行提取,这里冒号前后
的数字不再是索引的标签名称,而是数据所在的位置,从0开始。
#使用iloc按位置区域提取数据df_inner.iloc[:3,:2]
iloc函数除了可以按区域提取数据,还可以按位置逐条提取
前面方括号中的0,2,5表示数据所在行的位置,后面方括号中的数表示所在列的位置。
3.按标签和位置提取(ix)
ix是loc和iloc的混合,既能按索引标签提取,也能按位置进行数
据提取.
#使用ix按索引标签和位置混合提取数据df_inner.ix[:'2013-01-03',:4]
4.按条件提取(区域和条件值)
使用loc和isin两个函数配合使用,按指定条件对数据进行提取
将isin函数嵌套到loc的数据提取函数中,将判断结果为Ture数据
提取出来。这里我们把判断条件改为city值是否为beijing和shanghai。如果是就把这条数据提取出来。
#先判断city列里是否包含beijing和shanghai,然后将复合条件的数据提取出来。df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]
按条件筛选(与、或、非)
Excel数据目录下提供了“筛选”功能,用于对数据表按不同的条
件进行筛选。
Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现Excel中sumif和countif函数的功能。
使用“与”条件进行筛选,条件是年龄大于25岁,并且城市为
beijing。
#使用“或”条件筛选df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort(['age'])
在前面的代码后面增加city列,并使用count函数进行计数。相当于Excel中的countifs函数的功能
#对筛选后的数据按city列进行计数df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count()
还有一种筛选的方式是用query函数
在前面的代码后增加price字段和sum函数。对筛选后的price字段
进行求和,相当于Excel中的sumifs函数的功能。
#对筛选后的结果按price进行求和df_inner.query('city == ['beijing', 'shanghai']').price.sum()12230
Excel中使用分类汇总和数据透视可以按特定维度对数据进行汇总,Python中使用的主要函数是groupby和pivot_table。
1.分类汇总
#对特定的ID列进行计数汇总df_inner.groupby('city')['id'].count()citybeijing 2guangzhou 1shanghai 2shenzhen 1Name: id, dtype: int64
还可以对汇总后的数据同时按多个维度进行计算
#对city字段进行汇总并计算price的合计和均值。df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])
2.数据透视
Python中通过pivot_table函数实现同样的效果
1.数据采样
Excel的数据分析功能中提供了数据抽样的功能
Python通过sample函数完成数据采样
#简单的数据采样df_inner.sample(n=3)
Weights参数是采样的权重,通过设置不同的权重可以更改采样的结果
Sample函数中参数replace,用来设置采样后是否放回
#采样后不放回df_inner.sample(n=6, replace=False)#采样后放回df_inner.sample(n=6, replace=True)
2.描述统计
Python中可以通过Describe对数据进行描述统计
3.相关分析
Python中则通过corr函数完成相关分析的操作,并返回相关系数。
#相关性分析df_inner['price'].corr(df_inner['m-point'])0.77466555617085264#数据表相关性分析df_inner.corr()
1.写入Excel
2.写入csv
#输出到CSV格式df_inner.to_csv('Excel_to_Python.csv')
这里就跟大家总结了这么多,伙伴们有补充的可以留言哈,更多的Python学习教程和Python学习小技巧也会继续为大家更新!
联系客服